AI 訓練、微調與推理有甚麼分別？

01 / 人工智能

先用工場、裁縫和廚房理解

推理則像每天有人落單後即場出餐：模型權重通常不再改，只根據當次輸入產生結果。三者都用計算，但目的不一樣。

有人問『可唔可以將我哋十年文件餵入去，等它永遠記住？』這句問題很自然，但技術上其實把三件事撈埋了一起。

微調可能是一筆明顯的項目費，但推理是每個員工、每個查詢、每份附件都會重複發生的細水長流。模型選擇、輸入長度、輸出長度、快取和工具呼叫，才會真正改變月度帳單。

02 / 人工智能

訓練不是把文件存進資料庫

訓練透過大量例子調整參數，令某些輸出機率提高。知識被分散壓進權重，難以逐條找出、更新或刪除。

今天政策改了一句，重新訓練並不是最自然的更新方法；這也是外部檢索和工具仍然重要的原因。

一個新價目表下星期會變，冇理由為咗它重新訓練一個模型；把會變的東西放在會更新的地方，反而比較老實。

另一方面，微調不是把公司知識像 USB 咁插入模型。它較擅長教格式、語氣和判斷習慣；需要不斷更新的政策或價目，外部檢索通常更合理。

03 / 人工智能

微調主要教行為，不是可靠地灌知識

Google 的教材指出，微調可用數百至數千個特定例子令基礎模型適應任務。它很適合格式、語氣、分類習慣和專門模式，卻不是頻繁更新公司手冊的理想替代品。

把十份 PDF 拿去微調，不等於建立可引用、可刪除的知識庫。

講到底，AI 項目最貴的部分往往不是第一次 demo，而是之後每一天都要跑的那一段。

你在對話中交代一次規則，只會影響這次上下文；下一個工作區未必知道。若想持續保存行為，要靠固定指令、檢索、微調或應用層狀態，並清楚知道各自的更新方式。

04 / 人工智能

推理成本才是每天重複發生的成本

預訓練可能是一次巨額投資，推理卻隨每次請求累積。模型大小、輸入長度、輸出長度、是否即時、是否使用工具，都會影響延遲和費用。

產品成功後，最昂貴的階段不一定是最戲劇性的訓練，而可能是數百萬次普通回答。

05 / 人工智能

Prompt 不會永久改變模型

在對話中告訴模型「以後都這樣寫」，只會在該 context 內影響推理，除非產品把偏好另存並再次提供。微調才會改變權重，但亦不能保證每次遵守。

系統指示、檢索、工具、微調和後處理，是不同控制桿，不能用一個名詞混在一起。

06 / 人工智能

先問你想改變哪一層

需要最新事實，更新資料源或 RAG；需要固定計算，寫工具；需要一致風格或特殊任務行為，再考慮微調；需要回應一個當下問題，就是推理。最大的浪費通常不是模型選錯，而是用最昂貴、最難逆轉的階段，解決本來可以在外層快速修正的問題。

三個階段有不同的資料風險

預訓練資料影響模型的廣泛能力與偏誤；微調資料更直接塑造特定行為；推理資料則可能包含當下的私人內容。三者的保留、授權和刪除要求不相同。

把「資料會否用來訓練」問成單一問題，往往不足夠；還要問請求會否被記錄、用作評估、進入快取或傳送到其他工具。

微調之後仍需要外層系統

即使微調成功，權限檢查、最新資料、格式驗證、安全規則和交易確認仍不應只靠模型記住。權重提供傾向，程式提供保證。

最成熟的架構會把可測試的規則留在程式，把會改的事實留在資料源，把需要語言彈性的部分交給模型。這種分工看似沒有「一個模型包辦一切」震撼，卻更接近可維護產品。

07 / 人工智能

企業最常把一次性工程同每日營運成本混在同一張表。

微調可能是一筆明顯的項目費，但推理是每個員工、每個查詢、每份附件都會重複發生的細水長流。模型選擇、輸入長度、輸出長度、快取和工具呼叫，才會真正改變月度帳單。

另一方面，微調不是把公司知識像 USB 咁插入模型。它較擅長教格式、語氣和判斷習慣；需要不斷更新的政策或價目，外部檢索通常更合理。

08 / 人工智能

Prompt 不會永久改變模型

你在對話中交代一次規則，只會影響這次上下文；下一個工作區未必知道。若想持續保存行為，要靠固定指令、檢索、微調或應用層狀態，並清楚知道各自的更新方式。

別急住微調。先量度目前失誤是知識問題、格式問題，還是流程根本沒有驗證；搞錯層級，會用最貴的工具修最便宜的 bug。

09 / 人工智能

讀者最常問