Skip to content

推理深度:AI 一次回覆最多能查幾輪資料

看完這篇,你可以依照 agent 要處理的問題,選出合適的推理深度,並判斷回答不完整是不是輪數不夠。

開始前 ​

  • 需要編輯 Agent權限,見角色與權限。
  • 這個設定只有 Skill Agent 看得到。SCRM AI(Channel agent)沒有這個選單,預設是 10 輪,介面上不能改。

設定推理深度 ​

  1. 打開 Skill Agent 的編輯頁,停在基本設定分頁。
  2. 在最下方的推理深度選 快速 (5)、標準 (10) 或 深度 (20)。新建立時預設是標準 (10);從範本建立的 agent 會依範本帶入不同的值。
  3. 按頁面右上角的儲存,再到對話頁試問一題需要查好幾次資料的問題,確認回答完整。

下圖是推理深度選單展開的樣子,括號裡的數字就是最多幾輪。

基本設定分頁下方,推理深度選單展開,列出快速 (5)、標準 (10)、深度 (20)

下面的動畫示範在「示範:青葉書屋問答」的基本設定打開推理深度,從標準 (10) 改成深度 (20)。示範沒有按儲存。

推理深度到底在控制什麼 ​

AI 回答一個問題時,常常要先查一次資料、看了結果再決定要不要再查,例如先查機關正式名稱、再用名稱搜尋標案、再查單一案件的價格。每「查一次、看結果」算一輪。推理深度就是這個來回的上限,括號裡的數字是最多幾輪:

選項最多幾輪適合
快速 (5)5問題單純,通常查一兩次就能回答,例如查營業時間、單一規則
標準 (10)10大多數情況的預設值
深度 (20)20一題要連續查很多次,例如比較好幾筆資料、先找名稱再查細節的多步驟工具

幾件容易誤會的事:

誤會實際上
「深度」會讓模型想得更仔細不會。它不改模型的任何參數,跟用哪個 AI 引擎無關,只限制查資料、呼叫工具的輪數
選 20 每次都會跑 20 輪不會。這是上限,AI 查到足夠的資料就會停下來回答;簡單問題選哪一個都一樣快
選「深度」會加價沒有額外倍率。點數照實際呼叫模型的用量計算,多跑幾輪就多用幾輪的點數;用自帶金鑰(BYOK)不扣點數
輪數用完就會中斷、沒有回答用完輪數時,系統會再請 AI 根據已經查到的資料直接回答一次,所以還是會有回覆,只是可能不完整

怎麼判斷要不要調高 ​

  1. 在對話頁展開那一則回覆用到的工具,看 AI 實際呼叫了幾次,見怎麼從一則回覆確認 AI 真的查到了什麼。
  2. 如果呼叫次數剛好等於目前的上限,回答又說「資料不足」或只答了一半,就把推理深度調高一級再試。
  3. 如果問題本來就很單純,卻常常呼叫很多次工具,比較可能是動作說明或提示詞沒寫清楚,AI 不確定該用哪個工具。這時先改動作說明,不要直接把上限調高。

常見問題 ​

選了「深度 (20)」,回答還是很慢 ​

輪數越多,AI 等工具回應的次數就越多,回答時間會變長。只有真的需要多次查詢的 agent 才選深度;面對客人、要求快速回覆的 agent,選快速或標準就好。

SCRM AI 的編輯頁找不到推理深度 ​

這個選單只在 Skill Agent 上。SCRM AI 預設 10 輪,介面上不能調整。

延伸閱讀 ​