全书路线图
全书分为九个部分,共 57 章,另有两份基础补充和一个独立选修的多模态在线扩展。57 章及两份基础补充均已开放中英文阅读。第 40—57 章和 HTTP 基础补充于 2026 年 9 月 15 日发布,此前各章的发布日期不变。多模态扩展仍在规划中,尚未发布。
Part I:打开黑箱
Section titled “Part I:打开黑箱”- 第 1 章 先观察:LLM 是什么,又不是什么
- 第 2 章 一个 Token 的旅程:训练和模型运行不是一回事
- 第 3 章 文本怎样变成 Token、ID 和嵌入向量
- 第 4 章 从 N-gram 到 Bigram:手算语言模型
Part II:补齐必要地基
Section titled “Part II:补齐必要地基”- 第 5 章 从向量、矩阵到批处理与形状
- 第 6 章 从分数到概率、损失与困惑度
- 第 7 章 机器学习与神经网络的最小训练闭环
- 第 8 章 真实文本不是干净字符串
- 第 9 章 关键词、词袋与 TF-IDF:建立稀疏基线
- 第 10 章 从稀疏表示到 Word2Vec 与神经语言模型
Part III:上下文为何困难
Section titled “Part III:上下文为何困难”- 第 11 章 RNN:把过去带到当前
- 第 12 章 为什么 RNN 会忘:BPTT、LSTM/GRU 与上下文化表示
- 第 13 章 Seq2Seq:读完再写为何形成瓶颈
- 第 14 章 Attention:当前输出应该看输入哪里
Part IV:拆开 Transformer
Section titled “Part IV:拆开 Transformer”- 第 15 章 自注意力与 Q/K/V
- 第 16 章 掩码与多头注意力
- 第 17 章 拼出完整的 Transformer 块
- 第 18 章 Transformer 家族:BERT、GPT 与 T5
- 第 19 章 深入分词:BPE、WordPiece、SentencePiece 与字节级方法
- 第 20 章 从零拼出 Mini GPT
- 第 21 章 训练、保存和审问 Mini GPT
Part V:现代 LLM 如何形成和运行
Section titled “Part V:现代 LLM 如何形成和运行”- 第 22 章 什么使语言模型成为 LLM
- 第 23 章 预训练数据流水线与治理
- 第 24 章 模型、数据与算力如何共同扩展
- 第 25 章 现代稠密 LLM 的三个组件:RoPE、RMSNorm 与 SwiGLU
- 第 26 章 高效、稀疏与替代架构地图
- 第 27 章 大规模训练:系统分工与资源估算
- 第 28 章 机制可解释性:可解码、相关与因果不是一回事
- 第 29 章 生成策略:从分数到采样
- 第 30 章 模型运行:预填充、解码、KV 缓存与量化
- 第 31 章 高效服务:缓存复用、内核、推测解码与批处理
- 第 32 章 先写模型评测契约
- 第 33 章 按证据选择 API 或本地模型
Part VI:把基座模型变成可用能力
Section titled “Part VI:把基座模型变成可用能力”- 第 34 章 SFT:从续写到遵循指令
- 第 35 章 偏好优化:RLHF、DPO 与对齐边界
- 第 36 章 解题推理能力怎样训练:监督、RLVR 与核验器
- 第 37 章 运行时增加计算:采样、搜索、验证和停止
- 第 38 章 能力不足该改哪里:提示、检索、工具还是参数
- 第 39 章 继续预训练、微调与 LoRA/QLoRA
Part VII:外接上下文、程序与知识
Section titled “Part VII:外接上下文、程序与知识”- 第 40 章 从提示词走向上下文工程
- 第 41 章 结构化输出:建立机器可验证的数据契约
- 第 42 章 工具调用:模型提出请求,谁来执行
- 第 43 章 MCP:互操作的稳定概念与版本边界
- 第 44 章 现代检索:从 BM25 到稠密检索、混合检索与重排
- 第 45 章 从零构建有引用的 RAG
- 第 46 章 RAG 工程与分层评测
Part VIII:从工作流到可信 Agent
Section titled “Part VIII:从工作流到可信 Agent”- 第 47 章 理解 Agent 的起点:工作流、状态与记忆
- 第 48 章 Agent Skills:封装可复用做法
- 第 49 章 可靠 Agent:权限、预算、回放与恢复
- 第 50 章 从模型评测扩展到系统评测
- 第 51 章 幻觉、偏见、隐私与版权:持续治理
- 第 52 章 提示词注入、越狱与不可信输入输出
- 第 53 章 秘密、权限、租户隔离与供应链安全
Part IX:从原型到可维护系统
Section titled “Part IX:从原型到可维护系统”- 第 54 章 从 Notebook 到可用服务与可信的用户体验
- 第 55 章 LLMOps I:版本记录、运行追踪与发布回滚
- 第 56 章 LLMOps II:缓存、故障应对、服务目标与反馈
- 第 57 章 毕业项目:交付一个可评测的个人知识助手
基础补充资源
Section titled “基础补充资源”- Python 基础补充(Primer-PY):Python、Notebook、NumPy/PyTorch 张量与报错阅读。读完第 5 章核心内容、开始编程练习之前阅读。
- HTTP 基础补充(Primer-HTTP):客户端与服务端、HTTP、JSON、身份认证、流式响应、超时与重试。开始第 42 章实践前阅读,第 43、54 章会继续使用。
- EXT-MM-01 从文本 LLM 到多模态系统。