一个看似简单却出人意料的问题
假设你向一个大型语言模型提问：“一个商店有 12 个苹果，卖出了 5 个，又进货了 3 个，现在有多少？”直接让模型回答，它可能给出错误答案；但如果要求它“一步一步思考”，它往往能正确算出 10。这种差异在数学应用题、逻辑谜题等需要多步推理的任务上尤其明显。为什么仅仅改变提示方式，就能让模型从“直觉式”回答转向“深思熟虑”的正确输出？
直观的基线方法是直接要求模型给出答案，这对应着模型的一种“系统 1”式响应——快速、自动、依赖模式匹配。对于简单事实问答，这种响应足够；但对于需要组合多个步骤的推理任务，模型容易在中间环节出错，导致最终答案错误。思维链（Chain-of-Thought，CoT）提示通过要求模型在给出答案前输出中间推理步骤，显著改善了这类复杂任务的准确率。这一方法最早由 Wei 等人（2022）提出，他们在论文中展示，仅用少量包含推理步骤的示例，就能让大型语言模型在算术、常识和符号推理任务上大幅提升表现。
本文以企业知识库中的数学应用题自动解答为贯穿场景，分析思维链提示的机制、实现方式、效果差异与失败边界。我们关心的是：为什么中间步骤能提升准确率？零样本与少样本思维链有何区别？模型规模、任务类型如何影响效果？以及什么情况下思维链不再有效？
思维链的机制：从直觉到组合泛化
思维链的核心思想是让模型在生成最终答案之前，先产生一系列中间推理步骤。这些步骤将复杂问题分解为多个简单的子问题，每个子问题都在模型的能力范围内。例如，对于上述苹果问题，思维链可以写成：“起始有 12 个苹果。卖出 5 个后还剩 12 - 5 = 7 个。进货 3 个后变为 7 + 3 = 10 个。答案：10 个。”
为什么这种分解能提升准确率？可以从三个角度理解。第一，计算轨迹的延长：标准 Transformer 对每个词元执行固定层数的计算，当模型生成中间步骤时，每一步的输出成为下一步的输入，相当于把问题拆成更长的自回归计算轨迹，增加了可用的中间状态和验证机会。第二，工作记忆的外化：Transformer 的“工作记忆”受限于隐藏状态的维度，通过将中间结果写入输出文本，模型有效地将内部记忆外化为上下文，绕开了隐藏状态容量的限制。第三，问题分解：复杂问题被拆解为多个简单子问题，每个子问题都更容易处理。
这些机制共同激活了模型的组合泛化能力——模型能够将训练中学到的简单技能（如加减法、常识规则）组合起来解决新问题。Wei 等人的论文指出，这种推理能力在足够大的模型中会自然涌现，而小模型即使提供思维链示例也难以受益。这表明思维链并非简单地“教会”模型新知识，而是引导模型利用已有的能力进行更深入的计算。
零样本与少样本思维链：两种提示策略的对比
少样本思维链（Few-shot CoT）是在提示中提供几个包含推理步骤的示例，让模型模仿这种模式。例如，在提问前先给出一个类似问题的完整思维链示例。这种方法需要人工设计示例，成本较高，但效果显著。Wei 等人的实验表明，在 540B 参数的 PaLM 模型上，仅用 8 个思维链示例，就能在 GSM8K 数学应用题基准上达到当时的最优准确率，甚至超过了经过微调并配有验证器的 GPT-3。
零样本思维链（Zero-shot CoT）则更进一步：只需在提示末尾加上一句“让我们一步一步思考”（Let’s think step by step），就能激发模型的推理能力，无需任何示例。Kojima 等人（2022）在论文中展示了这一发现：使用相同的单一提示模板，零样本思维链在多个推理基准上显著提升了准确率。例如，在 MultiArith 数据集上，准确率从 17.7% 提升到 78.7%；在 GSM8K 上从 10.4% 提升到 40.7%（使用 text-davinci-002 模型）。
零样本思维链的惊人之处在于，它表明大型语言模型本身具备潜在的推理能力，只是标准的贪心解码掩盖了这种能力。Kojima 等人将这种能力称为“零样本推理”，并认为它暗示了模型具有更广泛的认知能力。然而，零样本思维链的效果通常不如少样本思维链稳定，因为模型可能不知道如何组织推理步骤，有时会生成无关或错误的中间过程。
下表对比了两种方法的特点：
| 维度 | 少样本思维链 | 零样本思维链 |
|---|---|---|
| 示例需求 | 需要人工设计 2～8 个示例 | 无需示例，仅需一句提示 |
| 实现成本 | 较高，需要领域知识和示例设计 | 极低，通用提示即可 |
| 效果稳定性 | 通常更稳定，准确率更高 | 效果波动较大，依赖模型能力 |
| 适用场景 | 有明确推理模式的领域，如数学题 | 通用推理任务，快速验证 |
| 失败模式 | 示例偏差导致模型模仿错误模式 | 模型可能跳过推理或生成无关步骤 |
实际应用中，如果资源允许，少样本思维链通常更可靠；零样本思维链则适合快速原型或无法准备示例的场景。
模型规模与任务类型：思维链的边界条件
思维链的效果并非在所有情况下都一致。Wei 等人的实验表明，思维链带来的性能提升主要出现在足够大的模型上（如 540B 参数），对于小模型（如 8B 参数），效果有限甚至没有改善。这可以解释为：小模型缺乏足够的组合泛化能力，即使提供中间步骤，也无法正确执行。因此，模型规模是思维链有效性的关键前提。
任务类型也影响思维链的收益。思维链在需要多步计算的算术任务（如 GSM8K）、符号推理（如最后字母拼接）和常识推理（如日期理解）上提升显著。这些任务需要组合多个步骤，中间步骤提供了清晰的验证点。相反，对于简单的事实问答或文本续写，思维链可能没有帮助，甚至因为生成多余内容而降低效率。Kojima 等人的实验还显示，零样本思维链在逻辑推理任务（如硬币翻转）上也有提升，但幅度因任务而异。
一个值得注意的现象是，思维链对“难题”的边际收益高于“易题”。对于简单的算术题，模型可能直接得出答案；对于复杂的多步问题，中间步骤能显著降低错误率。这符合推理时扩展的理念：投入更多计算换取更高质量的输出。
思维链的实现：从提示到解码的扩展
思维链的实现不仅限于提示工程。2024 年，Xuezhi Wang 和 Denny Zhou 在论文《Chain-of-Thought Reasoning Without Prompting》中提出，通过改变解码过程也能激发思维链。他们发现，在贪心解码之外，top-k 替代词元中常常隐藏着思维链路径。如果解码时选择这些替代词元，模型可能自发地生成推理步骤，而无需任何提示。这种“CoT-decoding”方法不仅绕过了提示的混淆因素，还能通过置信度指标区分思维链与非思维链路径。
这一发现表明，思维链能力是模型内在的，只是标准解码策略掩盖了它。在实际系统中，这提供了一种无需修改提示即可提升推理能力的方法，但需要更复杂的解码策略和置信度评估。
另一种扩展是推理时计算扩展（test-time compute scaling），即通过生成多个候选答案并选择最佳结果来提升准确率。Best-of-N 采样是典型策略：对同一问题独立生成 N 个答案，然后用多数投票或奖励模型评分选出最佳。多数投票在数学题等有确定答案的场景中非常有效；奖励模型则能对答案质量进行更精细的评估。过程奖励模型（PRM）甚至可以对推理的每一步进行评分，从而在树搜索中修剪错误分支，但训练数据成本较高。
下图展示了思维链在推理时扩展中的位置：
flowchart TD
A[输入问题] --> B{是否需要多步推理?}
B -- 否 --> C[直接生成答案]
B -- 是 --> D[生成思维链中间步骤]
D --> E[逐步推理并验证]
E --> F[生成最终答案]
F --> G[可选: 多路采样与验证]
G --> H[输出最佳答案]
这个流程体现了思维链从提示到解码的多种实现路径。在实际系统中，可以根据任务难度动态选择是否启用思维链，以及是否进行多路采样。
思维链的失效模式与替代方案
尽管思维链强大，但它并非万能。首先，如果模型本身缺乏必要知识，思维链无法凭空创造答案。例如，对于需要专业领域知识的问题，中间步骤可能基于错误的前提，导致最终答案错误。其次，思维链可能产生“幻觉”推理——模型生成了看似合理的步骤，但逻辑上不连贯或与问题无关。这在零样本思维链中尤为常见，因为模型没有示例约束。
另一个问题是，思维链会增加推理延迟和计算成本。对于实时应用，如在线客服或交互式助手，过长的推理链可能导致用户体验下降。因此，需要权衡准确率与延迟。
替代方案包括：
- 直接答案提示：适用于简单任务，不生成中间步骤，延迟低。
- 自一致性（Self-Consistency）：生成多个思维链，通过多数投票选择最终答案，比单次思维链更准确，但计算成本更高。
- 外部验证器：使用专门的模型或工具验证推理步骤，提高可靠性，但增加系统复杂度。
在工程实现中，应根据任务难度和资源约束选择合适的策略。例如，对于企业知识库中的常见问题，可以使用直接答案；对于复杂数学题，启用思维链并配合多数投票。
可观测性与未来方向
在生产环境中，使用思维链时需监控以下信号：
- 推理长度：中间步骤的 token 数，过长可能表明模型在“绕圈子”。
- 置信度：模型对最终答案的置信度，低置信度可能意味着推理不可靠。
- 答案分布：多路采样时，答案的多样性，如果高度一致，说明结果稳定。
当准确率下降时，可以检查是否因提示设计不当（如示例偏差）、模型规模不足或任务超出模型能力。
未来方向包括隐空间推理（如 Coconut），让模型在连续表征中推理，减少语言带宽开销；以及并行推理，同时处理多个子问题。这些方向仍处于研究阶段，但可能改变思维链的实现方式。
总之，思维链提示通过激活模型的组合泛化能力，显著提升了复杂任务的准确率。理解其机制、边界和实现选项，有助于在实际系统中做出合理决策。