成效

成效是針對一段已結束對話所做的判定：success（成功）、failure（失敗）或 unknown（不明），通常會附上一句話的判定理由──模型可以省略理由，判定結果仍會在沒有理由的情況下儲存並顯示。你先描述一段良好對話應該是什麼樣子，符合條件的對話結束後，就會依照這項描述進行判定。結果會顯示在分析頁面與聊天記錄中。

評估是週期性對話分析的一部分，因此結果不會立即出現：對話必須先靜置約一天才會被納入處理，而且只有訪客傳送至少兩則訊息的對話才會被分析——只有一個問題的單輪交流永遠不會被判定。

設定成功標準

開啟代理程式的設定 → 成效頁面，以自然語言撰寫你的標準，最多 1,000 個字元。例如：

The visitor's question was answered or their issue was resolved
without needing a human.

若要完全略過評估，請將欄位留空並且不定義任何擷取欄位——只要符合其中一項，評估功能就會保持啟用。標準會在對話被分析時套用，而不是在你儲存時套用：尚未被分析的對話（包括較舊的對話，或是升級後的所有對話）會依照分析當下生效的標準來判定，已分析過的對話則只有在收到新訊息時才會重新檢視。

評估如何運作

當一段對話被分析時，逐字稿與你的標準會傳送給模型。過長的對話會在評估前被截斷——每則訊息上限為 2,000 個字元，整份逐字稿上限為 20,000 個字元，並保留開頭部分——因此在異常冗長的對話中，發生在最末端的結案結果可能不在模型所見的範圍內。模型會回傳：

• outcome（結果）——success、failure 或 unknown。當逐字稿無法提供可靠的判斷依據時，會使用 unknown。
• rationale（理由）——一句話，300 個字元以內。模型會被指示避免出現姓名、電子郵件地址、電話號碼、訂單編號等具識別性的資訊，但這僅屬盡力而為的指示——回傳的文字會原樣儲存，並未經過強制遮蔽處理——因此請將 rationale 視為可能包含對話細節的內容。

從對話中收集資料

在同一個設定頁面上，你可以定義最多 10 個擷取欄位——例如電子郵件地址或訂單編號。每個欄位包含：

訂單編號、工單編號或客戶編號等識別碼，即使看起來像數字，也請使用 string 型別：number 欄位會經過 JavaScript 數字轉換，這會去除開頭的零，並可能在識別碼長度超過約 15 位數時，悄悄地將其四捨五入。請將 number 保留給真正的數量使用。

請將說明寫成一項辨識規則，而不是一種期望。系統會指示模型只有在訪客確實提供該值時才記錄欄位，並且絕不猜測或推論數值，空值則會被捨棄，不會儲存。這只是一項指示，並非驗證步驟——擷取出的數值不會與對話紀錄進行比對，因此請將這些數值視為未經驗證、源自對話內容的資料，而非確鑿事實，並在下游使用前自行驗證。

方案適用範圍

任何方案都可以撰寫標準並新增欄位。評估功能本身則需要進階分析：「你現在就可以設定你的標準——一旦你的工作區升級至 Pro 方案，我們就會開始判定對話結果。」

在此之前，不會有任何評估、不會產生任何判定理由，也不會顯示解決率。你儲存的設定會在工作區升級的當下立即生效。

解讀解決率

分析頁面中的解決率卡片會顯示：

• 比率——成功數除以已獲得明確判定的對話數，以百分比呈現。換句話說，就是成功數 ÷（成功數 + 失敗數）。
• unknown 判定不計入比率：若納入計算，會讓那些模型無法判斷的對話拉低這項數字。這些對話仍會計入比率下方顯示的已評估總數，緊接在已判定數量旁邊。
• 「檢視失敗案例」連結，會開啟已篩選為失敗對話的聊天記錄，方便你檢視問題所在。

若尚未進行任何評估，此卡片會改為顯示提示你設定成效功能的訊息。

當你將分析範圍縮小到特定期間時，對話的期間歸屬取決於其開始時間，而非評估時間──今天才完成評估的對話，仍會更新到它實際開始的那個期間的數字。

實用技巧

1. 描述訪客獲得的結果，而不是代理程式的行為——「問題已解決」勝過「代理程式很有禮貌」
2. 也要定義失敗案例——說明什麼樣的情況算是沒做到，避免邊緣案例全都落在 unknown
3. 一開始先不要設定擷取欄位——等判定結果看起來準確後再新增
4. 每週檢視失敗案例——判定理由加上逐字稿，通常就能指出缺少的來源資料

後續步驟

• 返回分析總覽
• 在聊天記錄中檢視失敗的對話