聊天機器人 KPI 定義:公式、解決率與使用者體驗

用明確公式衡量聊天機器人的解決率、攔截率、CSAT、回應時間與轉接結果,區分未知結果,避免把沉默當成成功。

Cover Image for 聊天機器人 KPI 定義:公式、解決率與使用者體驗

聊天機器人 KPI 是與目標連結的衡量指標,例如解決客服問題或取得合格潛在客戶。訊息數量是一般指標;與既定目標比較的已確認解決率才是 KPI。先定義納入哪些對話,以及什麼證據可以確認結果。

客服應先追蹤已確認解決、結果未知與完成轉接。使用者體驗則加入滿意度、問卷回覆率及回應時間。沒有真人介入的對話,不代表問題已經解決。

KPI 定義與計算公式

下表是建議的報表定義,不是所有供應商共用的標準。合格對話指選定用途與期間內的真實訪客對話。依照記錄好的規則排除測試與垃圾訊息。觀察期間尚未結束的對話應另列。下列比例都乘以 100;分母為零時標示無資料,不是 0%。

KPI公式同時記錄的資訊
已確認解決率已確認由機器人解決的對話 / 合格對話確認方式與未知結果
攔截率未記錄真人升級處理的對話 / 合格對話追蹤範圍及未解決的對話
轉接要求率要求真人協助的對話 / 合格對話分開列出要求、失敗與已接收
轉接完成率真人或目標佇列已接收的轉接 / 要求的轉接接收證據,不等於問題解決
CSAT 滿意度正面評價 / 收到的有效評價評分尺度、正面門檻與回覆數
問卷回覆率有效回覆 / 曾提供問卷的對話填答者是否具有代表性
備援回覆率觸發已定義備援回覆的訪客發言 / 合格訪客發言分列拒答、知識缺漏與系統錯誤
互動率有訪客訊息的元件工作階段 / 觀察到的元件開啟工作階段分子分母使用相同工作階段定義
潛在客戶轉換率產生去重後合格潛在客戶的銷售對話 / 合格銷售對話資格規則及後續成交結果
未升級處理的未知結果率未升級處理且缺乏充分結果證據的對話 / 合格對話追蹤缺漏與可能放棄的對話

解決、攔截與減少真人聯絡不同

透過訪客明確確認問題已解決、驗證過的任務結果,或有記錄的對話審查規則來確認解決。單純對語氣給好評並不足夠。推定成功應另外報告。Microsoft 也區分已確認與推定成功

沉默、關閉元件或一天沒有回來,都可能代表成功、中斷或放棄。沒有其他證據時,結果就是未知。在允許且可觀察的情況下,於明確的追蹤期間內比對同一問題的重複聯絡,並註明無法追蹤的管道。

攔截可以包含未解決的對話。Deflection 則估計相較於沒有機器人的情況,減少了多少真人聯絡。這需要可比較的聯絡率,最好有合適的對照組。單純前後比較可能受到流量或問題組成改變影響。這些比例都不能直接代表省下的員工工時。

100 段對話的計算範例

以下是假設範例,不是 Agentkit 客戶數據,也不是產業基準。觀察期間結束後,100 段合格客服對話中,有 45 段已確認由機器人解決且未升級處理、20 段要求轉接,以及 35 段沒有升級處理也沒有可靠的結果確認。20 次轉接中,15 次被接收,5 次失敗。

依照本報表定義,全部 20 次已記錄的轉接要求都算作升級處理,包括 5 次失敗的轉接。未升級處理的未知結果率不納入這些要求;這些問題最終是否解決,仍須另外追蹤。

已確認解決率為 45/100 = 45%;攔截率為 80/100 = 80%;未升級處理的未知結果率為 35/100 = 35%。已升級問題的後續結果仍須分開追蹤。轉接完成率為 15/20 = 75%,但接收轉接並不證明那 15 個問題已解決。

如果全部 100 段對話都有提供問卷,10 人回覆,其中 8 人給正面評價,CSAT 就是 8/10 = 80%,問卷回覆率則是 10/100 = 10%。這不能證明所有訪客中有 80% 滿意。缺乏其他證據時,減少的真人聯絡與節省時間仍然未知。

使用者體驗應追蹤哪些 KPI?

把 CSAT、問卷回覆率、未知或放棄的結果、回應時間及轉接完成率一起看。自願填答的小樣本可能漏掉不滿而離開的人。也要確認升級處理後仍有提供回饋的機會。

回應時間可以從訪客送出訊息算到第一段可見回覆,或完整答案出現。明確記錄終點,分別報告中位數與第 95 百分位數,並另外計算失敗或逾時。快速但錯誤的答案仍無法幫助使用者。

對話深度是計入的訊息總數除以對話數,需註明是否包含雙方訊息。長對話可能有用,也可能一直重複;短對話可能成功,也可能被放棄。同樣要區分因新需求返回的訪客,以及同一問題未解決而再次聯絡的人。

依自己的基準設定目標

對這些不同任務,無法提出有充分依據的通用「好」百分比。比較相同用途、語言、管道、納入規則與觀察期間。顯示分子和分母,不只百分比。樣本小或問題組成改變時,結論也受到限制。

先建立完整的基準期間,做一項修正,再比較另一個完整期間。將政策要求的必要轉接與可避免的失敗分開。60% 攔截率不代表少了 60% 工作量;應另外衡量真人聯絡量與處理時間。

抽查已解決、未知、已升級及備援回覆的對話。備援回覆可能來自資料不足、適當拒答或技術故障,先找出原因再修改資料。可參考聊天機器人最佳化客服聊天機器人指南。銷售用途則檢查訪客意圖、表單阻力與提出邀請的時機,搭配潛在客戶開發指南。結合聊天機器人與即時客服時,也要保留真人服務結果的可見度。

使用實際可取得的對話紀錄與回饋。本衡量方法不表示 Agentkit 會自動提供所有公式的結果,或跨客服管道比對訪客。缺少必要事件時,將指標標示為無資料,並註明需要補上的追蹤或人工審查。

免費建立你的聊天機器人 → 不需信用卡。

免費開始使用不需信用卡