第一章：大语言模型到底在做什么

大语言模型看起来会聊天、写代码和解释概念，但它最基本的工作仍然是：根据已经看到的 token，预测接下来最可能出现什么。理解这一点，可以解释模型的能力，也可以解释它为什么会生成流畅却错误的内容。

文本先被拆成 token

模型并不直接读取“一个汉字”或“一个单词”。输入会经过分词器转换成 token，再映射为数字表示。中文词语、英文单词、标点和代码片段可能以不同方式被拆分。上下文长度和调用成本通常按 token 计算，而不是按页面或字符计算。

因此，塞入更多资料并不一定更好。无关内容会占用上下文，也可能让模型把注意力分散在次要信息上。应用设计的第一项能力，是只提供完成当前任务所需的上下文。

现代 LLM 大多建立在 Transformer 架构之上。自注意力机制让模型在处理一个位置时，根据当前任务关注上下文中的其他位置。它可以发现代词与实体、问题与资料、函数调用与参数之间的关系，而不只是机械地读取相邻文字。

训练让模型从大量文本中学习语言模式、概念联系和解决问题的常见轨迹。参数中可以表现出许多知识，但这些知识不是一张能精确查询和即时更新的表。模型可能记错日期、混合相似实体，也不知道训练后发生的事情。

模型每一步都会为候选 token 给出概率，再根据解码策略选出下一个 token。温度等参数会影响结果的随机程度：较低温度更稳定，适合抽取和分类；较高温度可能更有变化，适合创意发散，但不会让模型获得新的事实。

同一个提示重复运行可能得到不同措辞，甚至不同结论。需要稳定结果时，应使用低随机性、清楚的输出结构和后续校验，而不是期待模型每次逐字相同。

LLM 适合理解自然语言、总结、改写、比较和生成候选方案。精确计算交给代码，实时数据交给 API，私有知识交给 RAG，改变外部状态的动作交给受控工具和权限系统。

所谓幻觉，并不是模型偶尔“忘记认真”，而是生成机制在缺少可靠依据时仍会继续补全。正确做法不是只在提示词里要求“绝对不要编造”，而是提供事实来源、允许拒答，并对关键结论进行验证。

学习 LLM 的第一步，是把它从无所不知的角色放回系统中的一个组件：它负责处理模糊语言，周围的程序负责事实、规则和责任。