从本文开始，如无特殊说明，文章均为 AI 自动生成。
从一个具体的失败开始
假设你设计了一套自动化测试框架，用 AI 驱动执行，最后生成汇总报告。
框架的汇总逻辑写得很清楚：
扫描报告目录下所有文件，逐一读取，汇总结果。
你满怀期待地触发「生成汇总」，AI 给出了一份漂亮的报告——
但只包含了本次会话里跑过的 3 个用例，而目录里明明有 11 个。
哪里出了问题？
AI 没有「扫描目录」，它用会话记忆里的列表代替了文件系统的实际内容。
它不知道自己偏了，也没有任何迹象表明它在犹豫。
它的输出流畅自信，和正确时没有任何区别。
这就是弱模型的典型行为。
弱模型的核心特征
「弱模型」不是一个精确的技术定义，而是一类行为模式的描述：
在能力边界处不报错、不停止，而是悄悄降级为一个看起来合理但实际有偏的结果。
特征一：不知道自己不知道
强模型面对不确定时会说「我不确定」或「我需要更多信息」。
弱模型没有这种元认知——它的不确定性不会转化为输出上的犹豫，
而是被内部平滑掉，变成一个自信的错误答案。
这比直接报错危险得多。报错是可见的失败，自信的错误是隐形的失败。
特征二：用「相似的东西」替代「正确的东西」
弱模型执行「扫描目录」时，会用最容易获取的近似物——会话记忆——来替代实际的文件系统操作。
这不是故意欺骗，而是它的注意力机制在近似匹配：
目录内容和会话记忆在语义上很接近，它选了成本更低的那个。
类似地，让它「调用 A 工具」，如果 A 不可用，它可能悄悄用 B 完成任务，然后报告说成功了。
结果正确，但工具不对——问题被绕过而不是被发现。
特征三：上下文越长越容易偏
弱模型读完一个长文档后，前面的内容权重会衰减。
你在第一行写了「你是执行者，不要转发指令」，
等它读到第五个步骤时，这条约束可能已经被稀释到几乎没有影响。
这意味着：指令越长，执行越不可靠。
悖论在于，为了防止偏轨你会想写更多约束，但更多约束让文档更长，反而加剧了这个问题。
特征四：「理解过度」与「创造性发挥」
弱模型有时不是做得少，而是做得多。
它读到「记录报告目录，本次会话均写入此目录」，
可能会「好心」地创建一个 running_context.txt 把路径存下来——它觉得自己在帮忙。
这种计划外行为无法预测，因为它来自模型对意图的「过度理解」。
无效的防范手段
在真正有效的方法之前，先列出那些看起来合理但实际没用的做法。
「告诉它自己是弱模型」
你是一个能力有限的模型，执行时要格外小心。
没用。模型不会因此变得更谨慎，因为它没有自我评估能力。
它不知道自己「能力有限」体现在哪里，更不知道哪个具体步骤会出问题。
这句话对它的行为没有任何约束力。
「告诉它遇到不确定时照字面执行」
如果不确定怎么做，优先按字面意思执行，不要自己发挥。
同样没用。问题的根源是它不知道自己不确定，它觉得自己完全理解了指令。
这条元指令无法触达实际出问题的那个时刻。
「写更详细的规范」
规范加倍，文档加长，弱模型读完前半段就忘了后半段。
而且规范越多，覆盖不到的边缘情况也越多——弱模型总能找到新的偏轨方式。
这是一场没有终点的追赶游戏。
「依赖模型的自我检查」
完成后请验证结果是否正确。
弱模型的自我验证和执行使用同一套有缺陷的推理，它验证不出自己产生的错误。
这就像让一个有色盲的人检查自己的色觉测试结果。
真正有效的防范手段
有效的防范有一个共同原则：
不依赖执行者的自我约束，而是从外部限制它能做什么、能看到什么。
手段一：把关键逻辑从自然语言换成代码
自然语言给了弱模型太多解释空间。「扫描目录」这四个字可以被解释成很多种行为。但：
1 | files = sorted(glob.glob(f"{report_dir}/[0-9][0-9][0-9].md")) |
没有解释空间。代码是强约束，自然语言是弱约束。
关键原则是：机械逻辑用代码，需要判断的部分才用 AI。
流程控制（下一步是什么、读哪些文件、结果存在哪）是机械逻辑，应该用代码；
内容判断（这个输出是否符合预期）才是 AI 的领域。
很多系统的问题是把这两类混在了一起，让 AI 同时负责执行和控制流程。
手段二：缩短单次指令的跨度
不要给一个 AI 一份包含 5 个步骤的流程文档，让它从头执行到尾。
而是每次只给它一件事：
- 「执行这一个步骤，告诉我结果」
- 「根据这份输出，填写这一行报告」
跨度越短，偏轨的机会越少，偏了也更容易发现和纠正。
手段三：在关键节点强制人工介入
不要让 AI 全自动跑完所有步骤。
在关键节点——尤其是「结果判断」和「状态转移」这两类操作——强制暂停让人确认。
这不是因为人比 AI 更聪明，而是因为人的介入本身就是一次外部校验。
AI 偏了，人在旁边能看出来；没有人，偏轨可能一直传播到最终报告。
手段四：明确指定工具，消除替代路径
自然语言里的动词（读取、扫描、获取）给了弱模型选择实现方式的自由，
它会选成本最低的那个，不一定是你期望的那个。
改成明确的工具调用要求：
读取目录下的文件调用execute_shell_command执行ls {目录}/*.md
消除了替代路径，就消除了偏轨的入口。
手段五：把最关键的约束放在文档第一行
弱模型对文档开头的权重高于结尾。
如果你有一条绝对不能被忘记的约束，它必须在第一行——
不是第一个章节，是字面意义上的第一行。
人类的镜像
读到这里，你可能已经意识到：上面描述的所有特征和防范手段，对某一类人类同样成立。
一个执行能力弱或认知负荷过高的人：
- 不知道自己理解有误，自信地执行了错误的操作
- 遇到模糊指令时，用「自己觉得合理的」代替「实际要求的」
- 面对长篇规范，读完就忘，执行时凭印象
- 偶尔好心办坏事，做了计划外的「优化」
而对他们有效的管理方式，也和防范弱模型惊人地相似：
- 流程设计让他没有犯错的机会，而不是依赖他的自觉
- 每次只交代一件事，不给他同时管理多个状态的机会
- 在关键节点设置检查点，而不是等最终结果出来再发现问题
- 把重要约束写在最显眼的地方，而不是埋在第 17 条
这不是巧合。弱模型的行为模式，在某种意义上是人类认知局限的一种压缩版本。
大语言模型在海量人类文本上训练，它继承的不只是人类的知识，
也继承了人类认知的弱点——注意力有限、倾向于走捷径、不擅长承认不确定。
好的系统设计从来不假设执行者是完美的，不管执行者是模型还是人。
语言与代码的边界
这一切最终指向一个更深的问题：什么时候用自然语言描述，什么时候用代码刻画？
自然语言的优势是表达力和灵活性。
它能描述意图、处理模糊情况、传达上下文。
但它的代价是：执行者需要「理解」，而理解是不可靠的——无论执行者是人还是 AI。
代码的优势是精确性和可验证性。
一段代码的行为是确定的，不依赖执行者的理解能力。
但它的代价是：表达力有限，无法覆盖所有情况，维护成本高。
在实际系统中，这两者的分工应该是：
| 适合自然语言 | 适合代码 |
|---|---|
| 描述目标和意图 | 定义执行步骤 |
| 处理边缘情况的判断 | 流程控制和状态转移 |
| 需要灵活解读的内容 | 数据处理和聚合 |
| 人与系统的交互界面 | 验证和断言 |
一个常见的错误是用自然语言描述本该是代码的部分——
不是因为懒，而是因为自然语言写起来更快更容易。
这种「便利」的代价，是把确定性的要求变成了对执行者理解能力的依赖。
另一个常见的错误是试图用代码覆盖所有情况，包括那些本质上需要判断的部分。
这导致代码越来越复杂，最终维护成本超过了它带来的确定性收益。
尺度的把控，本质上是对「执行者在哪里是可靠的」这个问题的判断。
弱模型（和能力有限的人）在机械、确定、步骤少的任务上是可靠的；
在需要记忆跨步骤状态、做模糊判断、控制复杂流程的任务上是不可靠的。
系统设计应该把前者尽量用代码固化，把后者尽量缩小范围、减少依赖。
一个未完成的结尾
没有一个系统能完全消除弱执行者带来的不确定性。
代码能覆盖已知的偏轨模式，但弱模型（和人）总能找到新的方式出错。
真正重要的不是「如何让弱模型不出错」，而是：
- 让错误可见：偏轨时有信号，不要让错误静默传播
- 让错误可恢复：在关键节点留有人工干预的入口
- 让错误可学习：每次出现新的偏轨模式，沉淀为新的规则或代码约束
这是一个迭代的过程，不是一次性解决的问题。
系统随着运行积累越来越多的「已知偏轨模式」，
逐渐从依赖执行者自觉走向结构性约束。
从某种意义上说，所有好的工程实践都在做这件事——用过去的错误换来未来的确定性。
弱模型只是让这个过程更快速、更显性地发生了。
写这篇文章时，我意识到它描述的不只是 AI 系统设计，也是任何需要管理「不可靠执行者」的系统设计——流水线、检查清单、双人复核、代码审查——都是同一个问题的不同形态。我们在 AI 身上发现的局限，大多数时候只是人类早已知道但习以为常的局限的另一面。
附录：当执行者本身拥有元认知
本文描述的所有防范手段，有一个共同的前提：
执行者没有自我意识，所以只能从外部施加约束。
弱模型不知道自己不知道，告诉它「你可能会出错」毫无用处。
但人不一样。
一个人一旦意识到自己是不可靠执行者，就获得了弱模型永远无法获得的工具：把元认知用作实时错误探测器。
这不意味着结构性约束就不需要了——它们同样有效，而且更省力。
区别在于：人可以在结构失效的地方用元认知补位，而模型不能。
以下是几种具体的策略。
把「自信感」当成警报，而不是确认
弱模型最危险的特征是「自信的错误」——它感觉不到自己偏了。人可以感觉到，但常常不去留意。
训练自己识别这个信号：
当你对某步骤感到「显然就该这么做」时，这正是最容易偏轨的时刻。
「显然」是大脑在节省计算的信号，而节省计算意味着它可能走了捷径。
这时主动停下来问：我是真的验证过，还是只是觉得自己知道？
把「替代行为」说出来，不要悄悄做
弱模型用 B 替代 A 时不会声明，所以问题被掩盖。
人有能力做到弱模型做不到的事：把替代行为变成显性声明。
当你意识到自己在用「差不多的东西」代替「正确的东西」时——
工具不可用、资源缺失、步骤被跳过——明确说出来：
「正式流程要求 X，我实际用了 Y，因为……结果需要额外验证。」
这把一个隐性的、无法追踪的偏差，变成了一个可见的、可纠正的决策。
把「理解了」拆成「复述一遍」
弱模型接到指令后会立即执行，它的「理解」是黑盒。
人可以把这个黑盒打开：收到复杂指令后，先用自己的话复述一遍，再开始执行。
复述的目的不是礼貌，而是把内部的理解变成外部可验证的输出。
你复述出来的内容如果有偏差，对方可以当场纠正；
如果你自己在复述时发现说不清楚，那就是理解还没到位的信号。
周期性重读关键约束
知道自己有「长文档失忆」的问题，就主动对抗它。
执行多步骤任务时，每隔几步回头重读一遍最关键的约束——
不是整份文档，是那一两条绝对不能忘的。
弱模型做不到这一点，因为它没有「我应该检查一下」的意识。
人有这个意识，只是通常懒得用。
外化工作记忆，不跨步骤相信自己的头脑
弱模型用会话记忆代替实际操作，因为它无法区分两者的可靠性差异。
人可以区分，但经常高估自己的记忆可靠性。
边执行边用书面记录当前状态：
「已完成：步骤 1、2；当前在：步骤 3；待确认：X 是否符合预期。」
状态写在纸上（或屏幕上），而不是在脑子里维护。
头脑负责判断，纸负责记忆。
主动标记不确定性，而不是用「合理猜测」填充
弱模型不知道自己不确定，所以无法标记。
人知道自己不确定的时候，最重要的事是说出来，而不是用看起来合理的猜测填充空白。
具体的习惯：遇到模糊之处，停下来明确说「我对这里不确定，我的理解是 X，请确认」，
而不是默默选一种解法继续往下走。
被确认的不确定性不会造成偏差；被掩盖的不确定性会一路传播到最终结果。
这些策略有一个共同结构：把内部状态外化。
弱模型的危险在于它的不确定性、替代行为、偏差全部发生在黑盒内部，外部看不到。
人拥有元认知，意味着可以主动打开这个黑盒——
不是等外部结构来约束，而是自己先把关键信息显性化，让错误变得可见。
元认知是一种能力，但它不会自动工作。
它需要刻意练习，需要在疲劳时强制触发，需要在「感觉自己完全理解了」时反而更警惕。
人与弱模型真正的差距，不在于犯错的概率，而在于能不能在犯错之前，先感觉到那个危险的「理所当然」。