外觀
看完這篇,你可以在改完場景之後跑一次路由回歸測試,從結果判斷哪些場景說明寫得不夠分明、該怎麼改。
開始前
- 這個功能只有 Channel 類型的 agent 才有,而且 agent 要先存檔、至少有一個場景。
- 需要編輯 Agent的權限。
- 測試只判斷「客人這句話會被分到哪個場景」,不產生回覆、不會傳任何訊息給客人,但會用到少量 AI 額度,見下面〈會不會花點數〉。
打開路由回歸測試
路由回歸測試的入口在 agent 的服務場景分頁,場景清單下方、新增場景的下面:

- 到 agent 的服務場景分頁。
- 按場景清單下方的路由回歸測試。
- 視窗裡有兩個分頁:測試題組(預設打開)與真實對話重放,依你要的測法切換。
兩種測法的差別:
| 測試題組 | 真實對話重放 | |
|---|---|---|
| 測什麼 | AI 依場景說明出的固定題目,加上不該進任何場景的反例 | 最近的真實客人對話,用現在的場景設定重新判斷 |
| 題目會不會留著 | 會,存在這個 agent 底下,每次改完場景都能重跑同一批 | 不留,每次都抓最近的對話 |
| 還沒上線的 agent | 可以測 | 沒有正式對話可以重放 |
| 適合 | 每次改完場景說明都跑一次,看哪裡變差 | 上線後確認新設定沒有把真實客人分錯 |
用測試題組測
下圖是還沒有題目時的測試題組分頁:上方是說明,下面是產生題目與執行測試兩個按鈕,還沒有題目時 執行測試是灰的,並提示還沒有題目,先按「產生題目」。

- 按產生題目。畫面顯示每個場景各出一次題,大約需要 30 秒到 1 分鐘…,完成後列出題目(N 題),依場景分組。
- 看一下題目。覺得哪一題本身答案就有爭議,按旁邊的垃圾桶刪掉。
- 按執行測試,等結果出來。
- 之後每次改完場景,回來直接按執行測試,不用重新出題。
AI 出題的方式:
| 項目 | 說明 |
|---|---|
| 每個場景出幾題 | 4 題:2 題是單一句開場白,刻意用跟例句不同的講法;2 題前面帶 1–2 輪前文,要看前文才判斷得出來 |
| 反例 | 另外 4 題不該進任何場景的話,歸在不該進任何場景 |
| 依據 | 每個場景的場景說明與例句,以及其他場景的清單 |
| 表單場景 | 題目都會明確表達客人要預約、報名這類意圖 |
| 重新出題 | 有題目之後按鈕變成全部重新產生;每組題目旁也有重新產生這組,只換掉那一組 |
| 已刪除或停用的場景 | 那組題目會標場景已刪除或停用(不會執行),執行時略過 |
用真實對話重放測
下圖是真實對話重放分頁:上方說明這個測法,下面可以選最近 50 輪或最近 100 輪,再按開始測試。

- 切到真實對話重放分頁。
- 選最近 50 輪或最近 100 輪。
- 按開始測試,畫面顯示大約需要 15 秒到 1 分鐘…。
重放會把最近 N 輪正式流量的客人訊息,每一輪都帶著當時的前文(前 6 輪)和表單進度,用現在的場景設定重新判斷一次。 後台試聊的對話不算;沒有走到場景判斷的訊息(例如被轉真人關鍵字直接轉走、在服務時間以外)也不算。
結果怎麼看
兩種測法的結果都只列出「有問題的」那幾句,每一句是一張卡片。判斷方式都一樣:第一次結果跟預期不同時,會再跑一次, 用兩次的結果決定是哪一種:
| 測法 | 標記 | 意思 | 你該做什麼 |
|---|---|---|---|
| 測試題組 | 答錯 | 跑兩次都進了別的地方 | 通常是場景說明不夠清楚,或兩個場景範圍重疊 |
| 測試題組 | 不穩定 | 兩次結果不同 | 這句落在兩個場景的邊界上,把兩邊的說明寫得更分明 |
| 真實對話重放 | 改道 | 連跑兩次都得到跟當時不一樣的新結果 | 逐筆看:是改對了,還是被別的場景搶走 |
| 真實對話重放 | 不穩定 | 兩次結果不同 | 同上,把場景說明寫得更分明 |
| 兩者 | 失敗 | 那一次判斷本身出錯,不算分錯 | 稍後再跑一次 |
測試題組的卡片會寫預期與實際;真實對話重放的卡片會寫當時與現在的走向(例如「場景 A → 轉真人」)、客人說的話, 需要時展開當時的前文(N 則)。真實對話重放全部都沒變時,會顯示全部跟當時一樣。
會不會花點數
| 動作 | 會不會改資料 | 會不會用到 AI 額度 |
|---|---|---|
| 打開視窗、切換分頁 | 不會 | 不會 |
| 產生題目、全部重新產生、重新產生這組 | 會,換掉那幾組題目 | 會 |
| 執行測試、開始測試 | 不會 | 會(只判斷路由,用量很少) |
| 刪除題目 | 會,直接刪掉、不會再確認 | 不會 |
這些用量記在 AI 用量頁的後台建置類別、來源是路由回歸測試。用自帶金鑰(BYOK)的引擎時, 費用算在你自己的供應商帳戶,不扣平台點數。
常見問題
這個 AI 還沒有正式流量的對話可以重放(後台試聊不算)。
agent 還沒有接上正式的客人對話,或客人的訊息都還沒走到場景判斷。先用測試題組測。
測試失敗,請稍後再試
判斷路由的請求沒有完成。等一下再按一次;短時間內連續按很多次也可能被暫時擋下來。
這些沒產生成功,保留舊題目:…
列出的那幾個場景這次沒出題成功,原本的題目還留著。按那一組旁邊的重新產生這組再試一次。