什麼是 LLM？大型語言模型白話解說
LLM，即大型語言模型，是一種經過大量文字訓練的 AI，能夠理解並生成語言。給它一段文字，它會一小段一小段地預測接下來應該出現什麼，而這個簡單的能力已經足以回答問題、寫作、摘要、翻譯與撰寫程式碼。ChatGPT、Claude 和 Gemini 背後的模型都是 LLM。
用 AI 建站時，為什麼它很重要
如果你使用 AI App 建置工具，就等於同時與 LLM 合作兩次。第一次，是 LLM 在替你建置：它讀取你的需求、規劃修改並撰寫程式碼。第二次，你可能希望在你的 App 內部使用 LLM，例如聊天機器人、摘要按鈕或寫作助手。
了解基本原理，在這兩種情況下都有幫助。它能解釋為什麼 AI 有時會誤解模糊的需求、為什麼它會很有自信地產生錯誤的內容、為什麼很長的對話會讓它忘記較早的細節，以及為什麼在 App 中加入 AI 功能會依使用次數產生費用。你不需要懂數學，只要有正確的心智模型即可。
日常生活的比喻
想像一個讀過難以想像之龐大圖書館的人——書籍、網站、說明書、程式碼、論壇——並且極其擅長以符合脈絡的方式接續任何一段文字。給他一封電子郵件的開頭，他會用你的語氣把它寫完。問他一個問題，他會寫出通常接在這類問題後面的那種回答。
但他沒有筆記可以查核，而且圖書館在某個日期就關閉了。他是在回想模式，而不是在查找資料。大多數時候，這些模式是正確的。但有時他會用一些聽起來正確的東西去填補空白，而且同樣充滿自信。
這就是 LLM：一位博學、文筆流暢的作家，記憶並不完美，也沒有內建的事實查核機制。
LLM 的運作方式（白話版）
- 訓練。 模型會看到大量的文字，並透過調整數十億個內部數字（它的參數）來學會預測下一段文字。大多數 LLM 採用的設計稱為 Transformer，由 Google 的研究人員於 2017 年提出。
- 調校。 原始模型接著會被精煉，以便遵循指示、維持對話，並避免有害的輸出，通常會使用人類回饋。
- 使用（推論）。 當你送出提示詞時，模型會讀取它，然後一次生成一個 Token 的回覆，每次都根據前面的所有內容，選出最可能的下一個 Token。
它內部並沒有一個事實資料庫，也不會在你聊天時持續學習。在一段對話中，它所「知道」的一切，不是來自訓練，就是來自它眼前的內容，也就是它的上下文視窗。
實例：客服回覆
假設你經營一家線上植物店，並把以下內容貼給 LLM：
客戶寫道：「我的訂單 #4412 送到時花盆破了，你們能怎麼處理？」我們的政策是：如果客戶傳送照片，我們會在 14 天內免費更換受損商品。請寫一則友善的回覆。
接下來會發生這些事：
- 這段文字被切分成 Token，大約一百多個。
- 模型讀取整段內容：客戶的訊息、你的政策，以及你的指示。
- 它逐一 Token 生成回覆：「您好！很抱歉您的花盆送到時破損……」，並請客戶提供照片，同時提到免費更換。
現在試試看，把政策拿掉，再提出同樣的要求。模型仍然會寫出一則自信又友善的回覆，但它可能會承諾退款，或是提到 30 天的期限，因為這些都是它在客服電子郵件中常見的模式。這就是幻覺，它揭示了關於 LLM 最實用的一課：它的準確度，取決於你提供的資訊。 需要可靠答案的 App，會在每次都把正確的原始資料交給模型，這種技術稱為 RAG。
關鍵名詞解釋
| 名詞 | 意思 |
|---|---|
| Token | 一段文字，通常是一個字或字的一部分。限制與價格都以 Token 計算。 |
| 上下文視窗（Context window） | 模型一次能考慮的文字量：你的提示詞、對話內容以及任何文件。 |
| 提示詞（Prompt） | 你提供給模型的輸入。請參閱什麼是提示工程。 |
| 參數（Parameters） | 在訓練中學到的內部數字。越多並不一定越好。 |
| 訓練資料（Training data） | 模型學習所用的文字。 |
| 知識截止日（Knowledge cutoff） | 模型沒有訓練資料的日期，因此除非有人告知，否則它不知道之後發生的事。 |
| 幻覺（Hallucination） | 流暢、自信，但錯誤的輸出。 |
| 溫度（Temperature） | 調整輸出多樣性或可預測性的設定。 |
| 推論（Inference） | 運行模型以取得答案。這是你按使用量付費的部分。 |
| 多模態（Multimodal） | 除了文字，還能處理圖片、音訊或其他輸入的模型。 |
| API | 應用程式以程式方式向 LLM 傳送提示詞的方式。請參閱如何使用 LLM API。 |
常見錯誤與迷思
- 「它會去查資料。」 單純的 LLM 不會。有些應用程式會加上網路搜尋或文件檢索，但模型本身是根據模式生成內容。
- 「如果聽起來很確定，那就是對的。」 自信與準確毫無關係。請核對名稱、數字、日期、價格，以及任何法律或醫療相關的內容。
- 「它記得我說過的每一件事。」 它只記得放得進上下文視窗的內容。在很長的對話中，較早的細節可能會消失或得到較少關注。請重新說明重要的事項。
- 「它像人一樣思考。」 它能令人印象深刻地推理問題，但沒有目標、信念，也沒有對後果的覺察。請把它的輸出當作草稿來審閱。
- 「越大或越新就一定越好。」 對於簡單、大量的任務，較小、較便宜、較快的模型往往才是正確的選擇。
- 在未確認的情況下傳送私人資料。 在把客戶資料貼到任何 AI 服務或建置進 App 之前，請先確認服務商的資料使用與保存條款。
向你的 AI 建置工具要求什麼
當 LLM 正在為你建置 App 時：
- 「在你改動任何東西之前，先告訴我你理解了什麼，以及你打算怎麼做。」
- 「這是確切的政策文字；請逐字使用，不要自行編造細節。」
- 「不要猜測價格或日期等事實。請留下佔位符，並把它們列給我。」
當你想在 App 中加入 LLM 時：
- 「加入一個【摘要】按鈕，從伺服器呼叫【服務商】的 API。把 API 金鑰保存在機密設定中，絕對不要放在瀏覽器裡。」
- 「把我們的政策放進提示詞中，讓回答符合政策，並在不確定時說「我不知道」。」
- 「限制回答的長度，並限制每位使用者每天可以發出的請求數。」
- 「記錄每次請求的費用，讓我可以看到使用量。」
如需逐步說明，請參閱如何在 App 中加入 AI 功能。
LLM 與 Mythex
Mythex 的建置 Agent 是以 LLM 運作的。所有人使用的都是同一個 Standard Agent，沒有模型選擇器，而建置會消耗 Mythex 點數。你所建置的 App 內部的 AI 功能則是另外計算：你需要自行帶入來自 OpenAI 或 Anthropic 等服務商的 API 金鑰，把它保存為專案機密，而服務商會直接就你的使用量向你收費。文件中的在 App 中加入 AI範例，說明了應使用的提示詞。
常見問題
LLM 代表什麼？
LLM 代表大型語言模型（large language model）：一種以大量文字訓練、用來理解並生成語言的 AI 模型。ChatGPT、Claude 和 Gemini 背後的模型都是 LLM。
ChatGPT 是 LLM 嗎？
ChatGPT 是建立在 OpenAI 的 LLM 之上的聊天應用程式。LLM 是負責生成文字的底層模型；應用程式則在它外面加上聊天介面、記憶功能、工具與安全機制。
為什麼 LLM 會胡說八道？
LLM 是根據它所學到的模式，生成最合理的下一個字詞，而不是去資料庫中查找事實。當它缺乏正確的資訊時，就可能產生流暢而有自信、但錯誤的文字，這稱為幻覺（hallucination）。提供它原始資料並檢查它的答案，可以降低風險。
LLM 會從我的對話中學習嗎？
模型在對話過程中不會改變；它只會看到上下文視窗中的內容。你的對話之後是否會被用來訓練新的模型，取決於服務商的政策與你的設定，因此請查看你所使用服務的條款。
LLM 中的 Token 是什麼？
Token 是模型讀取與寫出的一段文字，通常是一個字或字的一部分。上下文限制與 API 價格都是以 Token 計算，因此較長的提示詞與回答會花費更多。