第 38 章 能力不足该改哪里：提示、检索、工具还是参数
38.1 选方法之前，先找出错在哪里
Section titled “38.1 选方法之前，先找出错在哪里”KA-1 收到的提示是 Old: 600. New: 750. Old limit: ，选中检查点却回答 750.。两个金额都已经送到模型面前，问题也明确问的是旧限额。再把相同事实找来一次，本身并不能解释该怎样修好回答。
另一个请求中，真实订单状态可能从未进入系统。这是另一种失败。模型可以说明“处理中”是什么意思，却根本没有访问订单数据库。面对这两种情况，应先拿到不同证据，再决定改动。
第 32 章和第 33 章已经固定 KA-1 契约，并否决了两个本地检查点作为双语助手使用。第 22 章区分了训练阶段与能力。本章保留失败题，实际做一项小范围运行侧改动，再判断证据支持或否决哪些更大的修改。这些办法作用于不同层次，不是一条通用升级阶梯。
38.2 没拿到来源，与拿到后没用好不同
Section titled “38.2 没拿到来源，与拿到后没用好不同”知识新鲜度缺口（knowledge freshness gap）指系统缺少相关的现行来源。行为缺口（behavior gap）指证据已经提供，回答却没有按要求使用。格式缺口（format gap）涉及使用方要求的表达形式。领域或语言缺口（domain or language gap）是训练覆盖与目标分布不匹配的假设。任务能力缺口（task capability gap）则涉及即使输入相关，系统仍不能可靠完成的操作。一个失败可能涉及多项缺口；这些是诊断假设，不是贴上标签就找到了原因。
表 38.1：已有失败能说明什么。
| 证据 | 支持的诊断 | 不能由此认定 |
|---|---|---|
英文现限额回答 750. 含义正确，却不匹配字面 750 | 这个回答存在格式不匹配 | 缺了事实，或所有指令遵循都很差 |
历史提示含旧 600、新 750，回答为 750. | 没有正确使用所问范围 | 检索漏掉了 600 |
| 中文提示得到无关英文片段 | 双语目标分布上的失败 | 继续预训练是唯一补救办法 |
已提供虚构状态，仍回答 blue. | 没有正确使用给定状态 | 实时数据库查询失败；这里没有查询 |
明确尚未批准，却回答 France. | 没有回答所需审批边界 | 系统真的取消了订单 |
明确说护照信息未知，却回答 new. | 没有按要求保留未知 | 延长解题过程能算出护照规定 |
有用的反事实对照只改变一个条件：保持问题与评分不变，提供已知正确的来源。若回答改善，继续检查来源送达；若仍失败，就查看序列化、范围和模型使用证据的能力。随后保持记录不变，只把“问现行”换成“问历史”。这种比较比把所有错答案统称为“知识不足”更有信息。
KA-1 已经提供简短证据，并不是一个实现了检索增强生成的系统。虚构 A104 的状态是它新增的作者设定；较早的 KA-0 问答只解释一种可能的“处理中”状态，没有查询任何账户。原来的 A-104 案例与 KA-1 的短标签继续作为不同记录保留。
38.3 只修一个小问题，评分标准保持不变
Section titled “38.3 只修一个小问题，评分标准保持不变”例 38.1：一次真实的运行侧配对适配。 固定扩展只改一件事：对三个金额任务，如果 UTF-8 有效的回答全部由 ASCII 数字加一个末尾句号构成，就去掉句号，返回原样的数字。匹配时允许去掉首尾空白；其他解码后的回答一律保留。
因此 750. 变成 750，但 750 ye is t.、not 750、750.0 和状态回答 blue. 都不变。这条规则不知道正确金额，不会把 750 换成 600，不会从一句话里抓出第一个数字来冒充修复，也不会修改审批回答。它是运行时的保守格式规范化，不是 SFT、RAG、新采样策略或学到的新能力。
实验保留六道双语题、两个 MG-2 检查点、贪心与温度 0.7/top-5 策略、种子 7、42、31415、最多 24 个新 Token，以及原评分和质量门槛。程序实际完成 144 次本地生成。每次生成同时供原始与规范化两种展示条件使用，因此配对回答来自完全相同的采样输出。三次贪心重复用于观察可重复性和计时，不是三个独立问题。
我们先查看了保留的 KA-1 失败，再选择这项修正。因此这些是开发诊断结果，不是盲测验收。
表 38.2：选中检查点的全部主策略回答。 每行输出在三次贪心运行中完全重复。“中文”列是实际输出，不是翻译；开头空白在数据中保留。
| 请求 | 英文原始 → 规范化 | 中文原始 → 规范化 | 语义分：英文 / 中文 |
|---|---|---|---|
| 现行金额 | 750. → 750 | yuor: blue. → 不变 | 2 / 0 |
| 纠正过时前提 | 750. → 750 | France. → 不变 | 2 / 0 |
| 历史金额 | 750. → 750 | France. → 不变 | 0 / 0 |
| 已提供的订单状态 | blue. → 不变 | France key France. → 不变 | 0 / 0 |
| 尚未获得批准 | France. → 不变 | e key France. → 不变 | 0 / 0 |
| 未知的护照规定 | new. → 不变 | . → 不变 | 0 / 0 |
语义分 2 表示内容、范围和边界都正确，只有 2 分才通过。每个原始输出逐项复现此前保留的运行后，才沿用原有的 AI 辅助作者审阅结论。删除整数金额末尾的句号，不会改变事实声明，包括那个错误的历史声明。报告公开了这一理由，没有声称新增人类评审团，也没有调用隐藏的评分 API。
38.4 格式改善了，助手仍未过关
Section titled “38.4 格式改善了，助手仍未过关”表 38.3：按原准则比较贪心结果。 每个模型、每种语言有 18 次尝试、六道不同题。某题三次语义分都为 2，才算稳定通过。下表箭头均表示“原始 → 规范化”。
| 检查点与语言 | 严格通过 | 语义通过 | 稳定通过 | 决定 |
|---|---|---|---|---|
| 第 50 步选中版，英文 | 0/18 → 6/18 | 6/18 → 6/18 | 2/6 → 2/6 | 否决 |
| 第 50 步选中版，中文 | 0/18 → 0/18 | 0/18 → 0/18 | 0/6 → 0/6 | 否决 |
| 第 600 步最终版，英文 | 0/18 → 0/18 | 0/18 → 0/18 | 0/6 → 0/6 | 否决 |
| 第 600 步最终版，中文 | 0/18 → 0/18 | 0/18 → 0/18 | 0/6 → 0/6 | 否决 |
选中版英文共有九个展示结果改变，即三道题各重复三次。只有六次变成严格成功，因为历史金额仍然错误。若声称“准确率提高了 33.3 个百分点”，就隐去了改善仅来自字面格式匹配这一事实。语义质量没有变，两种语言都须六题稳定通过的门槛也没有变。
压力策略另行保留。选中版英文有三次展示改变：种子 42 的现行问题，以及种子 42、31415 的历史问题。只有现行回答正确。严格通过从 0/18 变为 1/18，语义通过仍为 1/18，稳定通过仍为 0/6；其余压力组仍无语义通过。最终版那个 UTF-8 无效的回答也完整保留，没有靠删除替换字符把它“修好”。
表 38.4：同一批主策略生成的实际成本。 单位为毫秒，保留六位小数。规范化耗时是生成区间加上紧随其后的规范化区间，两者都实际计时。经验 p95 按最近秩规则取值。Token 数包含 EOS，配对的两种条件下数目相同。
| 检查点与语言 | 原始 p95，ms | 规范化 p95，ms | 生成 Token 数 |
|---|---|---|---|
| 第 50 步选中版，英文 | 0.982250 | 0.982542 | 66 |
| 第 50 步选中版，中文 | 2.185542 | 2.186292 | 114 |
| 第 600 步最终版，英文 | 5.020875 | 5.021208 | 207 |
| 第 600 步最终版，中文 | 5.186250 | 5.186958 | 156 |
运行环境为 Python 3.12.10、PyTorch 2.7.0，arm64 macOS 26.5.2，CPU 单线程、float64。模型先预热，加载不计时；生成计时包含完整前缀重算、轨迹收集和字节解码。这种微型模型耗时不是服务延迟承诺。规范化没有省掉生成 Token，因为句号早已生成。模型张量检查确认没有参数变化。展示字符串变短，不能证明模型少做了计算。
扩展于 2026-09-13T12:23:33.409374+00:00 冻结，运行记录时间为 2026-09-13T12:23:36.621417+00:00。输入与实现哈希保存在 ka1-format-freeze-v1.json；完整回答、概率、字节、停止原因、成本和比较保存在 data/knowledge-assistant/ka1-format-run-v1.json。
- 模型之外要求：750
- 文本片段原输出：750.
- 处理步骤删末尾句号 → 750
- 模型之外严格匹配通过；原意已正确
现行限额 3 次 + 纠正旧前提 3 次 = 新增 6 次严格匹配通过。
- 模型之外要求：600
- 文本片段原输出：750.
- 处理步骤删末尾句号 → 750
- 模型之外仍然答错；语义验收未改善
另有 3 次显示改变，事实主张却没变。两个检查点仍不通过验收。
图 38.1 跟踪两种金额问题经过同一修正的过程。严格匹配结果不同，是因为问题要求的含义不同。因此要在改系统时保持评分器不变，不能悄悄放宽评分后，把分数增加称作适配收益。
38.5 让改动对准缺失的那一层
Section titled “38.5 让改动对准缺失的那一层”下面的选择记录在持续演进的项目报告 docs/ka1-adaptation-report.md 中。它们是决定和后续测试方案，不表示未来章节的接口已经实现。
表 38.5：每种办法的依据、成本与否决理由。
| 办法及改动位置 | 支持试验的证据 | 主要成本 | 对 KA-1 的否决理由或限制 |
|---|---|---|---|
| 提示：输入措辞、顺序与示范 | 已提供的新旧范围被用错，应先检查模板及范围配对提示 | 增加输入 Token，重做开发比较 | 不能提供不可得事实或授予权限；MG-2 的 64 Token 上下文也限制了空间 |
| RAG：把带版本的外部证据检索进输入 | KA-0 有同义表达和过时前提检索失败；变动制度需要现行来源 | 索引维护、检索评测与新增上下文 | KA-1 当前已收到金额，检索本身不能认证模型用对了 |
| 工具：调用程序或外部数据服务 | 实时状态需要真正查询；精确计算可使用明确规则 | 接口、返回结果检查、失败处理与访问控制 | 这里没有实时工具；状态问答不是查询，查询也不授权取消 |
| 继续预训练：用领域文本改变参数 | 目标语言、领域与微型训练分布不同 | 语料整理、训练资源与旧能力评测 | 中文失败不能单独定位原因，现有证据不足以为教学模型承担这项成本 |
| SFT 或偏好训练：用示范、比较调整行为 | 重复的证据使用、弃答与边界失败，值得收集代表性标签 | 数据审核、训练与回归测试 | 少数修正后的 KA-1 回答容易被记住；标签不能替代现行来源和权限 |
| 运行时格式处理或增加计算 | 已发现的格式不匹配；候选池可能存在更好回答 | 包装与检查成本，或额外生成 | 实测修正只改变格式；多算需要有用候选和胜任的选择器 |
RAG 是 retrieval-augmented generation，即检索增强生成：先检索证据，再把证据提供给生成器。本章只判断它在哪些地方可能有用，后续章节再实现接口。工具（tool）是具有明确操作和结果的可调用程序或服务，例如计算器或订单查询。取消操作还需要单独的授权与保护措施，生成有关文字不会执行它。
这些方法可以组合：检索提供最新制度，计算器应用明确报销规则，指令训练改善模型使用二者的方式。但每多一个组件，也多一个可能出错的位置。组合之前，先写明各自预期修复哪种失败、什么证据会推翻这一预期，以及哪些原有题必须继续答对。
表 38.6：保留的来源选择基线，与答案质量分开。
| 同一套九道 KA-0 查询 | 英文 | 中文 |
|---|---|---|
| Keyword | 5/9 | 5/9 |
| BoW Count | 6/9 | 6/9 |
| TF-IDF | 7/9 | 7/9 |
新运行重新计算了这些未改变的对照。TF-IDF 仍漏掉同义表达请求，并在过时前提请求中选中旧来源。7/9 是来源选择成功率，不是答案生成成绩，不能与 KA-1 的六题结果混算。
38.6 有时，正确决定就是暂不升级
Section titled “38.6 有时，正确决定就是暂不升级”这次完成的比较支持把规范化程序保留为范围很窄的教学诊断。它不支持把任一检查点当作双语助手交付，也不支持围绕六道公开题启动昂贵的参数训练。下一项有依据的调查，是输入模板与问题范围的配对检查；若改变输入，就应记录新的开发版本。来源新鲜度和真实订单访问，则留给后续独立评测的外部能力。
MG-2 的训练材料很少，又以英文为主，语言覆盖不足因此是合理假设。但架构、容量、优化与提示因素混在一起。“中文失败，所以必须继续预训练”跳过了证据；“训练步数越多越好”也与已有检查点比较不符。
如果之后按这些失败调整系统，应保留本套题作回归集，并在选下一模型之前准备真正未用过的验收题族。不要为了提高百分比而删掉历史、未知或审批题。按相同准则和预算，分别比较语言与失败类型。一份有用的适配报告要写出被否决的办法和剩余失败，不能只宣传首选方案。
只有证据支持改参数，才需要选择具体更新形式。第 39 章要回答的就是：继续预训练、SFT、全量更新与低秩更新，各自规定了什么？
38.7 本章小结
Section titled “38.7 本章小结”诊断失败时，要追踪来源送达、所需行为、格式、分布覆盖与必要操作。真实 KA-1 修正把选中版英文严格匹配从 0/18 提高到 6/18，稳定语义通过却仍为 2/6；两个检查点继续被否决。提示、RAG、工具和参数更新改动不同层次，有依据时可以组合。没有保留的基线，就无法说明升级究竟改善了什么。
38.8 习题
Section titled “38.8 习题”- 为什么选中版英文改变了九次回答，却只有六次变成严格成功？分别还原计数，并说明历史错误为何保留。
- 新评测删掉历史和审批题，再报告改善。这还能与 KA-1 比较吗？报告应保留什么？
- 现行制度已成功检索到，模型却重复旧金额。下一步应做什么诊断？若文档根本没有进入输入，诊断又有何不同？
- 工具返回正确状态，助手却说订单已取消。需要检查哪两种边界？仅用 LoRA 能证明它们成立吗？
- 一项领域训练只报告训练损失下降，没有中文保留能力结果。推荐这项训练之前，还缺哪些证据？
38.9 参考解答
Section titled “38.9 参考解答”- 三道金额题各重复三次， 次展示改变。现行题与过时前提题都应答 750，因此有 次严格成功。历史题应答 600，但规则原样保留了错误的 750 的每一位数字。
- 不能直接比较，因为分母变了，还删掉了已知失败。应保留原来的六题；另行命名的子集只能作为补充视图。新任务契约不能默默继承旧验收结论。
- 证据已经在场时，先查模板与 ID、截断，以及现行/历史配对提示，再判断模型能否使用证据。证据不在场时，则查检索、版本选择与上下文送达。重复相同检索，不是已经证实能修好“有证据却不用”的办法。
- 检查是否忠实使用工具结果，以及读取状态与获得取消权限之间的区别。实际取消需要经过授权的执行路径；一种参数更新方法不会自动建立或验证这条路径。
- 缺少稳定的目标分布划分、同一准则下的适配前后结果、两种语言、历史/未知/审批失败、旧能力保留、数据使用权与资源成本。训练损失衡量训练目标，不等于助手通过验收。
38.10 参考文献
Section titled “38.10 参考文献”- Gururangan 等，Don’t Stop Pretraining，2020，第 3—4 节。在 RoBERTa 分类实验中比较领域、任务适配及领域相关性；支持一个待测假设，不是已证明适用于 KA-1 的补救办法。
- Ouyang 等，Training language models to follow instructions with human feedback，2022，第 3、5 节。支持行为训练与评测取舍，不提供现行制度访问或工具授权证据。
- Snell 等，Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters，2024，第 3—5 节。说明增加运行时工作之前，为何应检查题目难度、核验质量与预算。