什么是 LLM？大语言模型通俗讲解
LLM，即大语言模型，是一类在大量文本上训练而成的 AI，使它能够理解和生成语言。给它一段文字，它就会一小块一小块地预测接下来应该出现什么。这种简单的能力足以用来回答问题、写作、总结、翻译和编写代码。ChatGPT、Claude 和 Gemini 背后的模型都是 LLM。
用 AI 建站时为什么它很重要
如果你使用 AI 应用构建器，你其实在与 LLM 打交道两次。第一次，LLM 在负责构建：它读取你的请求，规划改动，并编写代码。第二次，你可能希望在应用内部使用 LLM——例如聊天机器人、摘要按钮或写作助手。
无论哪种情况，了解基本原理都会有帮助。它可以解释为什么 AI 有时会误解含糊的请求，为什么它会自信地生成错误的内容，为什么很长的对话会让它忘记前面的细节，以及为什么在应用中添加 AI 功能每次使用都要花钱。你不需要懂数学，只需要一个正确的心智模型。
日常类比
想象一个读过一座难以想象的大图书馆的人——书籍、网站、手册、代码、论坛，他读遍了一切——并且非常擅长以符合语境的方式续写任何一段文字。你给他一封邮件的开头，他会用你的语气把它写完。你提出一个问题，他会写出通常跟在这类问题之后的那种回答。
但他没有可以查阅的笔记，而且图书馆在某个日期之后就不再更新了。他回忆的是规律，而不是查找事实。大多数时候，这些规律是对的。但有时，他会用一些听起来对、却只是合理推测的内容去填补空白，而且语气同样自信。
这就是 LLM：一位阅读量极大、文笔非常流畅的写作者，记忆并不完美，也没有内置的事实核查员。
LLM 如何工作（通俗版）
- 训练。 模型被展示海量的文本，并通过调整数十亿个内部数字（它的参数）来学习预测下一段文字。大多数 LLM 采用的设计叫做 Transformer，由谷歌研究人员于 2017 年提出。
- 调优。 原始模型随后会被改进，以便遵循指令、进行对话，并避免输出有害内容，这通常会用到人类反馈。
- 使用（推理）。 当你发送一个提示时，模型读取它，然后一次生成一个 token 的回复，每一步都根据前面的全部内容选择最可能的下一个 token。
模型内部并没有一个事实数据库，它也不会在你聊天时继续学习。它在对话中“知道”的一切，要么来自训练，要么来自它眼前的内容——也就是它的上下文窗口。
实例：一条客服回复
假设你经营一家在线植物店，你把下面这段内容粘贴给一个 LLM：
一位客户写道：“我的订单 #4412 到货时花盆碎了，你们能怎么办？”我们的政策是：如果客户发来照片，我们会在 14 天内免费更换损坏的商品。请写一条友好的回复。
这时会发生以下事情：
- 文本被切分为 token，大约一百个左右。
- 模型读取全部内容：客户的留言、你的政策，以及你的指令。
- 它逐个 token 生成回复：“您好！很抱歉您的花盆到货时破损……”然后请客户发来照片，并提到免费更换。
现在试试同样的请求，但不提供政策。模型仍然会写出一条自信而友好的回复，但它可能会承诺退款，或者 30 天的退换期，因为这些在它见过的客服邮件中是很常见的说法。这就是幻觉，它也揭示了关于 LLM 最实用的一条经验：它的准确性取决于你提供给它的信息。 需要可靠答案的应用，会在每次请求时把正确的原始资料喂给模型，这种技术叫做 RAG。
关键术语解释
| 术语 | 含义 |
|---|---|
| Token | 一段文本，通常是一个词或词的一部分。限制和价格都以 token 计算。 |
| 上下文窗口（Context window） | 模型一次能够考虑的文本量：你的提示、对话内容以及任何文档。 |
| 提示（Prompt） | 你提供给模型的输入。参见什么是提示词工程。 |
| 参数（Parameters） | 训练中学到的内部数字。越多并不一定越好。 |
| 训练数据（Training data） | 模型学习所用的文本。 |
| 知识截止日期（Knowledge cutoff） | 模型没有训练数据的时间点，因此除非告知，它不知道近期发生的事件。 |
| 幻觉（Hallucination） | 流畅、自信但错误的输出。 |
| 温度（Temperature） | 一个设置，决定输出的多样性或可预测性。 |
| 推理（Inference） | 运行模型以获得答案。这是按次付费的部分。 |
| 多模态（Multimodal） | 除文本之外，还能处理图像、音频或其他输入的模型。 |
| API | 应用以编程方式向 LLM 发送提示的方式。参见如何使用 LLM API。 |
常见错误与误解
- “它是在查资料。” 普通的 LLM 并不查资料。有些应用会添加网络搜索或文档检索，但模型本身是基于规律生成内容的。
- “如果它说得很肯定，那就是对的。” 自信程度与准确性毫无关系。请核对人名、数字、日期、价格，以及任何法律或医疗相关的内容。
- “它记得我说过的每一句话。” 它只记得能放进上下文窗口的内容。在非常长的对话中，较早的细节可能会丢失或被较少关注。请重新说明重要的内容。
- “它像人一样思考。” 它能够出色地推理问题，但它没有目标、信念，也没有对后果的意识。请把它的输出当作需要审阅的草稿。
- “越大或越新就一定越好。” 对于简单、高流量的任务，更小、更便宜、更快的模型往往是更合适的选择。
- 未经检查就发送私人数据。 在将客户数据粘贴到任何 AI 服务中，或将其构建进应用之前，请先查看服务商的数据使用和保留条款。
向你的 AI 建站工具提出什么要求
当 LLM 在为你构建应用时：
- “在修改任何东西之前，先告诉我你理解了什么，以及你打算怎么做。”
- “这是准确的政策原文；请逐字使用，不要自行编造细节。”
- “不要猜测价格或日期之类的事实。留下占位符，并把它们列给我。”
当你希望在应用中加入 LLM 时：
- “添加一个【总结】按钮，从服务器调用【服务商】的 API。把 API 密钥保存为机密，绝不要放在浏览器中。”
- “把我们的政策放进提示中，使回答符合政策，并在不确定时说‘我不知道’。”
- “限制回答的长度，并限制每个用户每天可以发出的请求数量。”
- “记录每次请求的费用，以便我查看用量。”
关于分步指南，请参阅如何为应用添加 AI 功能。
LLM 与 Mythex
Mythex 的构建 Agent 运行在一个 LLM 上。所有人使用的都是同一个标准 Agent——没有模型选择器——而构建过程会消耗 Mythex 积分。你在所构建应用内部使用的 AI 功能则是另外计费的：你需要自带来自 OpenAI 或 Anthropic 等服务商的 API 密钥，将其保存为项目密钥，服务商会直接对你的用量收费。文档中的为应用添加 AI方案展示了应使用的提示词。
常见问题
LLM 是什么的缩写？
LLM 是大语言模型（large language model）的缩写：一种在非常大量的文本上训练、用于理解和生成语言的 AI 模型。ChatGPT、Claude 和 Gemini 背后的模型都是 LLM。
ChatGPT 是 LLM 吗？
ChatGPT 是一款建立在 OpenAI 的 LLM 之上的聊天应用。LLM 是生成文字的底层模型；应用则在它外面加上了聊天界面、记忆功能、工具和安全层。
为什么 LLM 会编造内容？
LLM 是根据它学到的规律生成最合理的下一个词，而不是从数据库中查找事实。当它缺少正确的信息时，就可能生成流畅而自信却错误的文字，这被称为幻觉。提供原始资料并检查它的回答，可以降低这种风险。
LLM 会从我的对话中学习吗？
模型在对话过程中本身不会改变；它只能看到上下文窗口中的内容。你的对话之后是否会被用于训练未来的模型，取决于服务商的政策和你的设置，因此请查看你所使用服务的条款。
LLM 中的 token 是什么？
token 是模型读取和生成的文本片段，通常是一个词或词的一部分。上下文限制和 API 价格都以 token 计量，因此更长的提示和回答费用更高。