什麼是 LLM？大型語言模型淺白解說
LLM，即大型語言模型，係一種經過大量文字訓練、可以理解同生成語言嘅 AI。畀佢一段文字，佢就會逐小段噉預測下一步應該係咩，而呢個簡單嘅能力，已經足夠用嚟回答問題、寫作、總結、翻譯同寫代碼。ChatGPT、Claude 同 Gemini 背後嘅模型全部都係 LLM。
用 AI 建造嘢時點解重要
如果你用 AI 應用程式建造工具，你其實係兩次都會接觸 LLM。第一，LLM 負責建造：佢讀取你嘅要求、計劃改動，並寫出代碼。第二，你可能想喺你嘅應用程式入面加入 LLM——例如一個聊天機械人、一個摘要按鈕，或者一個寫作助手。
明白基本概念，無論喺邊種情況都有幫助。佢解釋到點解 AI 有時會誤解一個含糊嘅要求、點解佢會好有信心噉產生錯誤嘅嘢、點解長對話會令佢唔記得早前嘅細節，以及點解喺應用程式加入 AI 功能每次使用都要俾錢。你唔需要識數學——只需要一個正確嘅心智模型。
日常比喻
想像一個人讀過一個難以想像咁大嘅圖書館——書、網站、說明書、代碼、論壇——並且變得非常擅長，按照合適嘅方式，延續任何一段文字。你俾佢一封電郵嘅開頭，佢就會用你嘅語氣寫完；你問一條問題，佢就會寫出通常會跟住呢類問題嘅答案。
但係佢冇筆記可以核對，而且個圖書館喺某個日期之後就唔再更新。佢係憑規律去回想，而唔係去查資料。大部分時間規律都係啱嘅。但有時佢會用一啲聽落好似啱、但其實唔啱嘅嘢去填補空白，而且信心一樣十足。
咁就係 LLM：一個博覽群書、表達流暢嘅作者，記憶力唔完美，而且冇內置嘅事實核查員。
LLM 點樣運作（簡單講）
- 訓練。 模型會睇到大量文字，並透過調整數十億個內部數字（佢嘅參數）去學習預測下一段文字。大部分 LLM 採用嘅設計叫做 transformer，於 2017 年由 Google 嘅研究人員提出。
- 微調。 原始模型之後會被優化，令佢跟從指示、進行對話，並避免有害輸出，而呢個過程通常會用到人類嘅回饋。
- 使用（推論／inference）。 當你發送一個提示，模型會讀取佢，然後以 token 為單位逐個生成回覆，每次都根據之前嘅所有內容，揀選最可能嘅下一個 token。
佢裏面並冇一個事實資料庫，亦都唔會因為你嘅對話而繼續學習。一段對話中佢「知道」嘅嘢，要麼來自訓練，要麼來自當下擺喺佢面前嘅內容——即係佢嘅上下文窗口。
實例：一個客戶支援回覆
假設你經營一間網上植物店，你將以下內容貼入 LLM：
客戶寫道：「我嘅訂單 #4412 到咗，但花盆爛咗。你可以點幫我？」我哋嘅政策：如果客戶提供相片，我哋會喺 14 日內免費更換損壞嘅貨品。請寫一個友善嘅回覆。
噉樣會發生以下嘢：
- 段文字會被切成 token，大概有一百個左右。
- 模型會讀取全部內容：客戶嘅訊息、你嘅政策同你嘅指示。
- 佢逐個 token 生成一個回覆：「你好！非常抱歉你嘅花盆到咗時已經爛咗……」並要求提供相片，同時提到會免費更換。
而家試吓唔加入政策嘅同一個要求。模型依然會寫出一個語氣有信心、友善嘅回覆——但佢可能會承諾退款，或者 30 日嘅期限，因為呢啲係佢見過嘅支援電郵入面常見嘅寫法。呢個就係幻覺，亦都顯示咗 LLM 最實際嘅一課：**佢哋嘅準確度，只會跟你提供嘅資訊而定。**需要可靠答案嘅應用程式，會每次都向模型提供正確嘅來源資料，呢個技術叫做 RAG。
重要術語解釋
| 術語 | 意思 |
|---|---|
| Token | 一小段文字——通常係一個字詞或者其一部分。限制同價格都係以 token 計算。 |
| 上下文窗口（Context window） | 模型一次可以考慮幾多文字：你嘅提示、對話同任何文件。 |
| 提示（Prompt） | 你交俾模型嘅輸入。見什麼是 prompt engineering。 |
| 參數（Parameters） | 訓練期間學到嘅內部數字。數量多唔代表一定更好。 |
| 訓練資料（Training data） | 模型學習時所用嘅文字。 |
| 知識截止日期（Knowledge cutoff） | 模型冇訓練資料嘅最後日期；除非有人話畀佢知，否則佢唔知道之後嘅近期事件。 |
| 幻覺（Hallucination） | 流暢、有信心，但係錯誤嘅輸出。 |
| 溫度（Temperature） | 控制輸出變化多少，或者有幾可預測嘅設定。 |
| 推論（Inference） | 運行模型去得出答案。呢個就係你按次使用而付費嘅部分。 |
| 多模態（Multimodal） | 除咗文字，仲可以處理圖片、音訊或者其他輸入嘅模型。 |
| API | 應用程式點樣以程式方式將提示發送去 LLM。見點樣使用 LLM API。 |
常見錯誤同誤解
- 「佢會去查資料。」 純粹嘅 LLM 唔會。有啲應用程式會加入網上搜尋或者文件檢索，但模型本身係根據規律生成內容。
- 「如果佢語氣好肯定，就一定啱。」 信心同準確度冇關係。人名、數字、日期、價格，以及任何法律或醫療嘅內容，都要核實。
- 「佢會記住我講過嘅所有嘢。」 只限於可以放入上下文窗口嘅內容。喺好長嘅對話入面，早期嘅細節可能會消失，或者得到較少注意。重要嘅嘢要再講一次。
- 「佢思考嘅方式似人。」 佢解難嘅能力可以好出色，但佢冇目標、信念，或者對後果嘅意識。要將佢嘅輸出當成草稿去審閱。
- 「越大或者越新就一定越好。」 對於簡單、大量嘅任務，一個較細、較平同較快嘅模型，往往先係正確嘅選擇。
- 將私人資料送出去之前冇查清楚。 喺將客戶資料貼入任何 AI 服務，或者將佢建入應用程式之前，要查清楚服務商嘅資料使用同保留條款。
要求你嘅 AI 建造工具做咩
當 LLM 係負責建造你嘅應用程式時：
- 「改動任何嘢之前，先告訴我你明白咗咩，以及你會點做。」
- 「呢度係確切嘅政策文字；逐字使用，唔好自己編造細節。」
- 「唔好估價錢或者日期等事實。留一個佔位符，並將佢哋列出嚟俾我。」
當你想喺應用程式入面加入 LLM 時：
- 「加一個 [摘要] 按鈕，由伺服器呼叫 [服務商] 嘅 API。API 金鑰要放喺 secret 入面，唔可以放喺瀏覽器。」
- 「將我哋嘅政策放入提示，令答案跟足政策，並喺唔確定時回答「我唔知道」。」
- 「限制答案嘅長度，並限制每位用戶每日可以發出幾多個請求。」
- 「記錄每個請求嘅成本，等我可以睇到用量。」
想睇逐步指引，可以睇點樣為你嘅應用程式加入 AI 功能。
LLM 同 Mythex
Mythex 嘅建造 agent 基於一個 LLM 運作。所有人都用同一個 Standard agent——冇模型選擇器——而建造會使用 Mythex 點數。喺你建造嘅應用程式入面嘅 AI 功能則係另一回事：你要自帶由 OpenAI 或 Anthropic 等服務商提供嘅 API 金鑰，將佢儲存為項目 secret，而服務商會直接向你收取該用量費用。為你嘅應用程式加入 AI 這個 docs 食譜會示範應該用咩提示。
常見問題
LLM 係咩嘢嘅縮寫？
LLM 係 large language model 嘅縮寫，即大型語言模型：一種經大量文字訓練、用嚟理解同生成語言嘅 AI 模型。ChatGPT、Claude 同 Gemini 背後嘅模型都係 LLM。
ChatGPT 係 LLM 嗎？
ChatGPT 係一個建基於 OpenAI 嘅 LLM 之上嘅聊天應用程式。LLM 係負責生成文字嘅底層模型；應用程式則喺佢周圍加咗聊天介面、記憶功能、工具同安全層。
點解 LLM 會亂作嘢？
LLM 係根據佢所學到嘅規律，生成最合理嘅下一個字詞，而唔係去資料庫查事實。當佢缺乏正確資訊時，會生成流暢、語氣有信心但係錯誤嘅文字，呢個叫做幻覺（hallucination）。俾佢提供來源資料，並核實佢嘅答案，可以減低風險。
LLM 會唔會從我嘅對話入面學嘢？
模型喺對話期間唔會改變；佢只睇到上下文窗口入面嘅內容。你嘅對話之後會唔會被用嚟訓練未來嘅模型，取決於服務商嘅政策同你嘅設定，所以要睇清楚你所用服務嘅條款。
LLM 入面嘅 token 係咩？
Token 係模型讀取同寫入嘅一小段文字——通常係一個字詞或者字詞嘅一部分。上下文限制同 API 價格都係以 token 計算，所以較長嘅提示同回覆會更貴。