01 · 大模型在做什么：一个超级会「接龙」的程序

学完你能说出：

• 大模型的本质是「根据前文，预测下一个 Token 的概率」，一个一个往外吐字。
• Token 是什么，为什么按 Token 计费、按 Token 算长度。
• 为什么它会「一本正经地胡说八道」（幻觉）。

先看地图

这是整个 AI 知识库的第一篇。后面所有内容（RAG、Agent）都建立在这一个事实上：模型只会接龙。

本篇讲 4 个点：① Token 是什么 → ② 接龙是怎么一步步进行的 → ③ 为什么这样设计 → ④ 幻觉从哪来。

一句话本质

大模型（LLM）= 一个读了海量文字、专门练「猜下一个字」的程序。 你看到的「回答」，是它一个字一个字猜出来、拼起来的。

生活类比：成语接龙 + 输入法联想

• 你在手机上打「今天天气」，输入法会提示「真好」「怎么样」。它见过很多人这么打，所以知道后面常跟什么。
• 大模型就是一个超级输入法：它见过整个互联网规模的文字，所以不光能接短句，还能接出一整篇像样的文章。
• 区别在于：输入法只看前两三个字，大模型能看完你前面写的几千、几万字再决定下一个字。

一步步看：用数字走一遍

第 0 步：切成 Token。 模型不直接认「字」，而是认 Token（词元，模型处理文字的最小单位）。

"我爱学习"  →  [我] [爱] [学习]  →  [3021, 885, 12047]   （编号是示意）

英文里一个常见单词通常是 1 个 Token，长单词会被拆开；中文大约 1 个字对应 1 个左右的 Token，具体要看用的分词器（Tokenizer）。

第 1 步：算下一个 Token 的概率。 输入「今天天气」，模型给词表里的每个 Token 打分，换算成概率：

候选	概率
真	0.45
很	0.30
怎么	0.15
其他所有 Token 加起来	0.10

第 2 步：选一个。 比如选中「真」，把它接到末尾，变成「今天天气真」。

第 3 步：重复。 把「今天天气真」整个再喂进去，算下一个……直到模型输出一个表示「结束」的特殊 Token，或者达到长度上限。

今天天气 → 真 → 好 → ， → 适合 → 出门 → [结束]

所以回答是一个 Token 一个 Token 流出来的。聊天软件里文字逐渐出现，就是这个原因。

为什么这么设计

为什么用「预测下一个 Token」来训练？

• 问题：要让机器学会语言，最大的难点是标注数据。让人一句一句去标「这句话对不对」，成本太高。
• 方案：直接拿现成的文字，遮住下一个字让模型去猜，猜错了就调整参数。所有文本本身就是答案，不需要人工标注。
• 好处：可以用整个互联网的文字来训练。规模一大，模型为了猜得准，被迫学会了语法、常识，甚至推理的套路。

一句话答法

因为「猜下一个词」不需要人工标注，任何文字都能当训练数据，规模可以做到极大；为了猜准，模型顺带学会了语言规律和知识。

为什么要切成 Token，而不是直接按字或按字母？

• 问题：按字母切，序列太长，算得慢；按完整单词切，词表会无限大，遇到新词就不认识。
• 方案：取折中，用子词（subword）：常见词整个保留，罕见词拆成常见的片段。比如 unhappiness 可能拆成 un + happi + ness。
• 好处：词表大小可控（几万到十几万），又不会遇到「完全不认识的词」。

一句话答法

Token 是在「词表大小」和「序列长度」之间的折中：常见词整块，罕见词拆成片段，既不会词表爆炸，也不会遇到不认识的词。

幻觉：为什么会一本正经地胡说八道

幻觉（Hallucination） 指模型说出流畅、自信，但事实是错的内容。

根源就在「接龙」：模型的目标是说得像，不是说得对。你问它一本不存在的书的作者，它不会说「不知道」，而是接出一个「看起来很像作者名」的名字。

缓解办法（后面几篇会细讲）：

• RAG：回答前先查资料，让它「照着资料说」；
• 要求引用出处，没有出处的话就不说；
• 降低温度（Temperature），减少随机性（见第 04 篇）。

英文术语拆解

术语	拆开看	一句话意思
LLM	Large 大 + Language 语言 + Model 模型	大语言模型，参数量大、读过海量文字的模型
Token	token = 记号、筹码	模型处理文字的最小单位，计费和长度都按它算
Tokenizer	token 词元 + -izer 「…化的工具」	分词器，把文字切成 Token 并编号
subword	sub 子 + word 词	子词，比整词小、比字母大的片段
Hallucination	幻觉	模型自信地说出错误内容
GPT	Generative 生成式 + Pre-trained 预训练的 + Transformer（一种模型结构）	OpenAI 的模型系列名，也概括了这类模型的做法

面试怎么问

Q：大模型是怎么生成回答的？

自回归生成：把输入切成 Token，模型算出下一个 Token 的概率分布，按采样策略选一个，拼到末尾再继续预测，直到输出结束符或达到长度上限。所以回答是逐个 Token 生成的，这也是流式输出的原因。

Q：什么是 Token？为什么 API 按 Token 计费？

Token 是模型处理文本的最小单位，通常是子词。模型的计算量和输入、输出的 Token 数成正比，所以按 Token 计费；上下文长度上限也按 Token 算。

Q：大模型为什么会产生幻觉？怎么缓解？

因为训练目标是「预测最可能的下一个 Token」，优化的是「像不像」，不是「对不对」；遇到没见过的事实时，它会生成看似合理的内容。缓解：用 RAG 提供依据、要求引用来源、降低温度、对关键结论做校验。

容易混的地方

• 「模型记住了答案」✗：它学到的是统计规律，不是一个可以精确查询的数据库，所以问冷门事实容易错。
• Token ≠ 字：中文、英文、代码的「字 / Token」比例都不一样，估算时说「大约」。
• 模型自己不会上网：除非外部程序帮它查（RAG、工具调用），否则它只知道训练数据截止时的内容。

和其他知识的连接

• → 影响 注意力与 Transformer：「看完前文再猜」靠的就是注意力机制。
• → 影响 Prompt 与采样参数：「选一个 Token」时怎么选，就是温度、Top-p 在管。
• → 影响 RAG 是什么：既然模型会编，就先给它查好资料。

自测 3 问

Q1：用一句话说清大模型生成回答的过程。

点开看答案

把输入切成 Token → 预测下一个 Token 的概率 → 选一个接到末尾 → 再预测下一个……直到结束。这叫自回归生成，所以回答是一个一个 Token 流出来的。

Q2：为什么「预测下一个词」这么简单的任务，能训练出很聪明的模型？

点开看答案

因为它不需要人工标注，整个互联网的文字都能拿来训练，规模极大。为了在各种文本上都猜准，模型被迫学会了语法、常识和推理套路。

Q3：幻觉的根本原因是什么？

点开看答案

训练目标是「说得像」而不是「说得对」：模型生成的是最可能的下一个 Token，遇到不知道的事实时，它会接出一个看起来合理但错误的内容，而不是说「不知道」。

✅ 验收清单

• 能用「输入法联想」的类比，向别人解释大模型在做什么
• 能画出「切 Token → 算概率 → 选一个 → 接到末尾 → 重复」这条流程
• 能说出 Token 为什么是「子词」，以及它和「字」的区别
• 能解释「预测下一个词」为什么不需要人工标注
• 能说出幻觉的根源，以及至少 2 种缓解办法

下一步该懂什么

• 模型「看完前文」到底是怎么看的？→ 注意力与 Transformer
• 「选一个 Token」有哪些选法，为什么同一个问题每次回答不一样？→ Prompt 与采样参数