原文:Threads

摘要

Uber 公開了法務部門 AI Agent 的演進過程,拿到 2026 ALM 創新獎,審核時間少了兩成以上、準確率 91%。作者 @dsdaily 從資料科學的角度看這個案例,結論是:RAG(檢索增強生成,讓 AI 回答前先去文件庫撈相關資料)效果不好,問題常常不在模型,而在餵進去的資料品質。他整理成四個重點,最後一句話收尾:Agent 做到後面,很多問題還是會繞回 Data Engineering(資料工程,也就是把資料整理乾淨、排好、管好的那套功夫)。

重點

  • 「相關文件」不等於「決策依據」:文件庫很大、檢索撈得到相關內容,不代表那些內容能直接拿來下判斷。要先分清哪些是真正的規則與判例,哪些只是沾到邊的背景資料。
  • 歷史資料的權重不能一樣:政策、規則會隨時間改,舊案例可能已經不適用,這就是 Data Drift(資料飄移:資料的分布或規則隨時間變了,模型卻還照舊學)。要幫舊資料降權,而不是一視同仁。
  • Few-shot 要放正反案例:Few-shot 是在 prompt 裡放幾個範例讓模型照著做。只放「正確答案」學不到判斷邊界,要同時放「這種情況不算」的反例,模型才知道界線在哪。
  • 邏輯明確的問題用確定性規則:能寫成 if/else 的判斷就用 deterministic rules(固定規則程式)處理,不要全部丟給 LLM 猜,省成本也更穩。
  • 整個案例的重點不只是「從 RAG 一路做到 Agent」的進程,而是四件實務功夫:資料怎麼留下來、舊資料怎麼降權、正反案例怎麼選、哪些地方根本不該讓模型自由發揮。

個人洞見

這跟 Anthropic 打造有效 Agent 的建議 是同一個方向:能用固定流程與規則解決的,就不要交給模型自由發揮。對自己的知識花園也有啟發:檢索才是知識管理的瓶頸,光把 embedding 模型換好不夠,收進來的筆記要有品質、過時的要能標記或降權,搜尋結果才真的能拿來用。