Skip to content

知識缺口:找出 AI 答不出來的問題,補進知識庫

看完這篇,你可以每週打開一次知識缺口,找出客人最常問、AI 卻答不出來的問題,補進知識庫後標記已處理。

開始前 ​

要做的事需要的能力
打開知識缺口頁、看提問與 AI 當時的回覆檢視對話紀錄
按標記已處理/取消標記檢視對話紀錄+上傳檔案

能力怎麼設定見角色與權限。沒有上傳檔案能力的人看得到清單,但不會出現標記按鈕。

打開知識缺口 ​

  1. 點側邊欄的對話紀錄。
  2. 按右上角搜尋框左邊的知識缺口。

對話紀錄頁右上角,搜尋代理框左邊的知識缺口按鈕

頁面上方可以篩選:

篩選選項預設
期間最近 7 天、最近 30 天、最近 90 天最近 7 天
agent某一個 agent,或清空成全部 agent全部 agent
顯示已處理勾選後連已標記處理的題目一起列出不勾

表格上方會寫「共 N 題、M 次答不出來(最近 N 天)」。資料太多時只取最近的 2,000 筆,並顯示「資料太多,只列出最近的一部分。」,這時把期間縮短或只看一個 agent。

看懂每一列 ​

每一列是一題,依次數多到少排列。提問欄是客人最近一次的原句,下面標著這題被列入的原因與次數,例如「回覆查不到 ×1」;有好幾種說法被併在一起時,會寫「另有 N 種類似問法」。右邊是次數、出現在哪些 Agent,以及最後出現的時間。

按最左邊的箭頭展開,會看到各種問法(每種說法出現幾次)與 AI 當時的回覆(最多 5 筆),每筆旁邊有看對話 →,最下面是到知識庫補資料。

知識缺口頁,第一題展開後顯示 AI 當時的回覆、看對話與到知識庫補資料

被列入的原因有下面幾種。同一輪對話可能同時符合好幾種。

原因什麼情況通常怎麼補
搜不到資料AI 查了知識庫,但一筆都沒找到知識庫裡根本沒有這個主題,新增文件
搜到的不相關有找到段落,但每一筆都跟問題差很遠補一份直接回答這題的文件,或在現有文件加上客人會用的說法
回覆查不到AI 查過資料後,回覆裡出現「查不到」「找不到」「沒有相關資料」「不確定」等字眼看 AI 當時的回覆判斷;可能是資料缺漏,也可能是誤判(見下方常見問題)
答不出來轉真人SCRM AI 連續答不出來,達到轉真人設定的次數補資料,或檢查是不是該有一個專門的場景
不認得轉真人SCRM AI 的預設場景設成「轉真人客服」,客人的話對不上任何場景新增場景,或把這類問法補進現有場景的說明
全庫查詢SCRM AI 對不上任何場景,改去整個知識庫找把這類問題的說法補進對應場景,讓它走正確的場景
罐頭回覆SCRM AI 對不上任何場景,回了預設的固定訊息同上

客人自己說要找真人、命中轉真人關鍵字或明顯生氣而轉接的,不算知識缺口。Skill Agent 沒有場景與轉真人,只會出現前三種原因。

補資料、標記已處理 ​

  1. 展開那一題,先看 AI 當時的回覆;需要前後文就按看對話 →,會打開那段對話的完整紀錄。
  2. 確認真的是資料缺漏,按到知識庫補資料,把答案寫進對應資料夾,見用哪種方式把文件放進知識庫。
  3. 補好後回到知識缺口頁,在那一題按標記已處理。右上角出現「已標記為已處理」,這題就從清單消失。

下面的動畫示範在第一題按標記已處理,這一列隨即從清單移除。

標記會一次套用到這題底下的所有類似問法,整個工作區共用,不分 agent。標錯了就勾顯示已處理,在那一題按取消標記。

標記之後,同樣的問題如果又出現,這題會重新回到清單,並標著標記後又出現,代表補的資料還不夠,或 AI 還是找不到。標記本身只影響這張清單,不會改變 AI 的回答方式。

類似問法怎麼併在一起 ​

系統先把只差在空白、標點、全形半形或大小寫的問句當成同一題,再用語意比對把意思相近的說法併成一題(例如「一次能借幾本」和「最多可以借多少本書」)。只有次數最多的前 300 題會做語意比對,其餘維持字面分組;語意比對暫時失敗時,也會退回字面分組。語意比對會呼叫向量模型,用量記在 AI 用量頁,同樣的問句算過一次就不再重算。

常見問題 ​

AI 明明答得很好,為什麼還被列成「回覆查不到」 ​

系統是用字眼判斷的:回覆裡只要出現「不確定」「查不到」這類詞,就會被列入,即使整句意思是「如果不確定可以問櫃台」。展開看 AI 當時的回覆,確認沒問題就直接標記已處理。

我在對話頁測試的問題也出現在這裡 ​

Skill Agent 在後台對話頁的試聊也會被列入;SCRM AI 的後台預覽則不算。想只看客人的真實提問,可以對照對話紀錄的來源篩選。

對話 API 進來的問題沒有出現 ​

對話 API 是無狀態的,不保存對話內容,所以撈不到。LINE(SCRM)、網站 Widget、Telegram、Google Chat、Webhook 進來的對話都會列入。

目前沒有答不出來的提問 ​

這段期間 AI 都接得住,或還沒有客人提問。可以把期間改成最近 30 天或最近 90 天再看一次。

延伸閱讀 ​