Skip to content

路由回歸測試:改完場景後確認沒有分錯

看完這篇,你可以在改完場景之後跑一次路由回歸測試,從結果判斷哪些場景說明寫得不夠分明、該怎麼改。

開始前 ​

  • 這個功能只有 Channel 類型的 agent 才有,而且 agent 要先存檔、至少有一個場景。
  • 需要編輯 Agent的權限。
  • 測試只判斷「客人這句話會被分到哪個場景」,不產生回覆、不會傳任何訊息給客人,但會用到少量 AI 額度,見下面〈會不會花點數〉。

打開路由回歸測試 ​

路由回歸測試的入口在 agent 的服務場景分頁,場景清單下方、新增場景的下面:

服務場景分頁,場景清單與新增場景下方的路由回歸測試按鈕

  1. 到 agent 的服務場景分頁。
  2. 按場景清單下方的路由回歸測試。
  3. 視窗裡有兩個分頁:測試題組(預設打開)與真實對話重放,依你要的測法切換。

兩種測法的差別:

測試題組真實對話重放
測什麼AI 依場景說明出的固定題目,加上不該進任何場景的反例最近的真實客人對話,用現在的場景設定重新判斷
題目會不會留著會,存在這個 agent 底下,每次改完場景都能重跑同一批不留,每次都抓最近的對話
還沒上線的 agent可以測沒有正式對話可以重放
適合每次改完場景說明都跑一次,看哪裡變差上線後確認新設定沒有把真實客人分錯

用測試題組測 ​

下圖是還沒有題目時的測試題組分頁:上方是說明,下面是產生題目與執行測試兩個按鈕,還沒有題目時 執行測試是灰的,並提示還沒有題目,先按「產生題目」。

路由回歸測試視窗的測試題組分頁,還沒有題目時只有產生題目可以按

  1. 按產生題目。畫面顯示每個場景各出一次題,大約需要 30 秒到 1 分鐘…,完成後列出題目(N 題),依場景分組。
  2. 看一下題目。覺得哪一題本身答案就有爭議,按旁邊的垃圾桶刪掉。
  3. 按執行測試,等結果出來。
  4. 之後每次改完場景,回來直接按執行測試,不用重新出題。

AI 出題的方式:

項目說明
每個場景出幾題4 題:2 題是單一句開場白,刻意用跟例句不同的講法;2 題前面帶 1–2 輪前文,要看前文才判斷得出來
反例另外 4 題不該進任何場景的話,歸在不該進任何場景
依據每個場景的場景說明與例句,以及其他場景的清單
表單場景題目都會明確表達客人要預約、報名這類意圖
重新出題有題目之後按鈕變成全部重新產生;每組題目旁也有重新產生這組,只換掉那一組
已刪除或停用的場景那組題目會標場景已刪除或停用(不會執行),執行時略過

用真實對話重放測 ​

下圖是真實對話重放分頁:上方說明這個測法,下面可以選最近 50 輪或最近 100 輪,再按開始測試。

路由回歸測試視窗的真實對話重放分頁,可以選最近 50 輪或最近 100 輪

  1. 切到真實對話重放分頁。
  2. 選最近 50 輪或最近 100 輪。
  3. 按開始測試,畫面顯示大約需要 15 秒到 1 分鐘…。

重放會把最近 N 輪正式流量的客人訊息,每一輪都帶著當時的前文(前 6 輪)和表單進度,用現在的場景設定重新判斷一次。 後台試聊的對話不算;沒有走到場景判斷的訊息(例如被轉真人關鍵字直接轉走、在服務時間以外)也不算。

結果怎麼看 ​

兩種測法的結果都只列出「有問題的」那幾句,每一句是一張卡片。判斷方式都一樣:第一次結果跟預期不同時,會再跑一次, 用兩次的結果決定是哪一種:

測法標記意思你該做什麼
測試題組答錯跑兩次都進了別的地方通常是場景說明不夠清楚,或兩個場景範圍重疊
測試題組不穩定兩次結果不同這句落在兩個場景的邊界上,把兩邊的說明寫得更分明
真實對話重放改道連跑兩次都得到跟當時不一樣的新結果逐筆看:是改對了,還是被別的場景搶走
真實對話重放不穩定兩次結果不同同上,把場景說明寫得更分明
兩者失敗那一次判斷本身出錯,不算分錯稍後再跑一次

測試題組的卡片會寫預期與實際;真實對話重放的卡片會寫當時與現在的走向(例如「場景 A → 轉真人」)、客人說的話, 需要時展開當時的前文(N 則)。真實對話重放全部都沒變時,會顯示全部跟當時一樣。

會不會花點數 ​

動作會不會改資料會不會用到 AI 額度
打開視窗、切換分頁不會不會
產生題目、全部重新產生、重新產生這組會,換掉那幾組題目會
執行測試、開始測試不會會(只判斷路由,用量很少)
刪除題目會,直接刪掉、不會再確認不會

這些用量記在 AI 用量頁的後台建置類別、來源是路由回歸測試。用自帶金鑰(BYOK)的引擎時, 費用算在你自己的供應商帳戶,不扣平台點數。

常見問題 ​

這個 AI 還沒有正式流量的對話可以重放(後台試聊不算)。 ​

agent 還沒有接上正式的客人對話,或客人的訊息都還沒走到場景判斷。先用測試題組測。

測試失敗,請稍後再試 ​

判斷路由的請求沒有完成。等一下再按一次;短時間內連續按很多次也可能被暫時擋下來。

這些沒產生成功,保留舊題目:… ​

列出的那幾個場景這次沒出題成功,原本的題目還留著。按那一組旁邊的重新產生這組再試一次。

下一步 ​