聊天機器人 KPI 是與目標連結的衡量指標,例如解決客服問題或取得合格潛在客戶。訊息數量是一般指標;與既定目標比較的已確認解決率才是 KPI。先定義納入哪些對話,以及什麼證據可以確認結果。
客服應先追蹤已確認解決、結果未知與完成轉接。使用者體驗則加入滿意度、問卷回覆率及回應時間。沒有真人介入的對話,不代表問題已經解決。
KPI 定義與計算公式
下表是建議的報表定義,不是所有供應商共用的標準。合格對話指選定用途與期間內的真實訪客對話。依照記錄好的規則排除測試與垃圾訊息。觀察期間尚未結束的對話應另列。下列比例都乘以 100;分母為零時標示無資料,不是 0%。
| KPI | 公式 | 同時記錄的資訊 |
|---|---|---|
| 已確認解決率 | 已確認由機器人解決的對話 / 合格對話 | 確認方式與未知結果 |
| 攔截率 | 未記錄真人升級處理的對話 / 合格對話 | 追蹤範圍及未解決的對話 |
| 轉接要求率 | 要求真人協助的對話 / 合格對話 | 分開列出要求、失敗與已接收 |
| 轉接完成率 | 真人或目標佇列已接收的轉接 / 要求的轉接 | 接收證據,不等於問題解決 |
| CSAT 滿意度 | 正面評價 / 收到的有效評價 | 評分尺度、正面門檻與回覆數 |
| 問卷回覆率 | 有效回覆 / 曾提供問卷的對話 | 填答者是否具有代表性 |
| 備援回覆率 | 觸發已定義備援回覆的訪客發言 / 合格訪客發言 | 分列拒答、知識缺漏與系統錯誤 |
| 互動率 | 有訪客訊息的元件工作階段 / 觀察到的元件開啟工作階段 | 分子分母使用相同工作階段定義 |
| 潛在客戶轉換率 | 產生去重後合格潛在客戶的銷售對話 / 合格銷售對話 | 資格規則及後續成交結果 |
| 未升級處理的未知結果率 | 未升級處理且缺乏充分結果證據的對話 / 合格對話 | 追蹤缺漏與可能放棄的對話 |
解決、攔截與減少真人聯絡不同
透過訪客明確確認問題已解決、驗證過的任務結果,或有記錄的對話審查規則來確認解決。單純對語氣給好評並不足夠。推定成功應另外報告。Microsoft 也區分已確認與推定成功。
沉默、關閉元件或一天沒有回來,都可能代表成功、中斷或放棄。沒有其他證據時,結果就是未知。在允許且可觀察的情況下,於明確的追蹤期間內比對同一問題的重複聯絡,並註明無法追蹤的管道。
攔截可以包含未解決的對話。Deflection 則估計相較於沒有機器人的情況,減少了多少真人聯絡。這需要可比較的聯絡率,最好有合適的對照組。單純前後比較可能受到流量或問題組成改變影響。這些比例都不能直接代表省下的員工工時。
100 段對話的計算範例
以下是假設範例,不是 Agentkit 客戶數據,也不是產業基準。觀察期間結束後,100 段合格客服對話中,有 45 段已確認由機器人解決且未升級處理、20 段要求轉接,以及 35 段沒有升級處理也沒有可靠的結果確認。20 次轉接中,15 次被接收,5 次失敗。
依照本報表定義,全部 20 次已記錄的轉接要求都算作升級處理,包括 5 次失敗的轉接。未升級處理的未知結果率不納入這些要求;這些問題最終是否解決,仍須另外追蹤。
已確認解決率為 45/100 = 45%;攔截率為 80/100 = 80%;未升級處理的未知結果率為 35/100 = 35%。已升級問題的後續結果仍須分開追蹤。轉接完成率為 15/20 = 75%,但接收轉接並不證明那 15 個問題已解決。
如果全部 100 段對話都有提供問卷,10 人回覆,其中 8 人給正面評價,CSAT 就是 8/10 = 80%,問卷回覆率則是 10/100 = 10%。這不能證明所有訪客中有 80% 滿意。缺乏其他證據時,減少的真人聯絡與節省時間仍然未知。
使用者體驗應追蹤哪些 KPI?
把 CSAT、問卷回覆率、未知或放棄的結果、回應時間及轉接完成率一起看。自願填答的小樣本可能漏掉不滿而離開的人。也要確認升級處理後仍有提供回饋的機會。
回應時間可以從訪客送出訊息算到第一段可見回覆,或完整答案出現。明確記錄終點,分別報告中位數與第 95 百分位數,並另外計算失敗或逾時。快速但錯誤的答案仍無法幫助使用者。
對話深度是計入的訊息總數除以對話數,需註明是否包含雙方訊息。長對話可能有用,也可能一直重複;短對話可能成功,也可能被放棄。同樣要區分因新需求返回的訪客,以及同一問題未解決而再次聯絡的人。
依自己的基準設定目標
對這些不同任務,無法提出有充分依據的通用「好」百分比。比較相同用途、語言、管道、納入規則與觀察期間。顯示分子和分母,不只百分比。樣本小或問題組成改變時,結論也受到限制。
先建立完整的基準期間,做一項修正,再比較另一個完整期間。將政策要求的必要轉接與可避免的失敗分開。60% 攔截率不代表少了 60% 工作量;應另外衡量真人聯絡量與處理時間。
抽查已解決、未知、已升級及備援回覆的對話。備援回覆可能來自資料不足、適當拒答或技術故障,先找出原因再修改資料。可參考聊天機器人最佳化與客服聊天機器人指南。銷售用途則檢查訪客意圖、表單阻力與提出邀請的時機,搭配潛在客戶開發指南。結合聊天機器人與即時客服時,也要保留真人服務結果的可見度。
使用實際可取得的對話紀錄與回饋。本衡量方法不表示 Agentkit 會自動提供所有公式的結果,或跨客服管道比對訪客。缺少必要事件時,將指標標示為無資料,並註明需要補上的追蹤或人工審查。
免費建立你的聊天機器人 → 不需信用卡。



