什么时候不要加“一步一步思考”
多年来,让 AI 一步一步思考是最稳妥的默认做法。但对今天的推理模型来说,这往往只增加篇幅、不增加质量,有时还会让答案变差。关键是分清你面对的是哪一类模型。
发生了什么变化
链式思考提示是为一次性作答的模型设计的:把步骤写出来能帮它们不跑偏。而较新的推理模型在作答之前已经在内部推理过了。如果你再给它一套逐步流程,它可能会把内部推理重复写进可见答案(输出变长、质量不变),或者把自己的探索压缩进你写的流程里。无论哪种,你都在为没有帮助的文字付费。
目前从业者指南的实际建议是:在有相关设置的地方,用模型自带的推理强度或思考预算设置来控制推理深度,而不是用提示词里的措辞。
证据怎么说
一项相关研究是沃顿生成式 AI 实验室(Wharton Generative AI Labs)由 Lennart Meincke、Ethan Mollick、Lilach Mollick 和 Dan Shapiro 撰写的报告《The Decreasing Value of Chain of Thought in Prompting》。它的测试集是 GPQA Diamond:198 道博士水平的生物、物理和化学选择题,每道题在三种条件下各跑 25 次——直接作答、不给特别指令,以及“一步一步思考”。下面的数字描述的是这次测试,不是针对所有任务的保证。
在非推理模型上,逐步提示提高了平均得分,其中 Gemini Flash 2.0 提高最多(13.5%),Sonnet 3.5 其次(11.7%),GPT-4o-mini 的 4.4% 提升在统计上不显著。但最严格的标准——每次试验都答对——结果却不一致,Gemini Pro 1.5 下降了 17.2%。研究者的解读是,额外的推理对难题有帮助,但也增加了不稳定性,导致模型在简单题上出错。逐步请求比直接作答耗时也长得多,在这些模型上多了 35–600%(该研究的运行中为 5–15 秒)。
在受测的推理模型(o3-mini、o4-mini、Gemini Flash 2.5)上,平均得分变化很小:o3-mini 提高 2.9%,o4-mini 提高 3.1%,Gemini Flash 2.5 下降 3.3%,而逐步请求需要多花 20–80% 的时间(10–20 秒)。报告的结论范围很窄,值得原样重复:逐步提示是否有帮助,取决于模型、任务,以及你在准确性、一致性和响应时间之间愿意接受的取舍。
还有一点适用范围:研究发现,很多模型在不给特别指令时默认已经会推理,所以“不给指令”和“逐步思考”之间的差别比名字听起来要小。下面的清单请当作有待在你自己的任务上验证的起点启发,而不是通用规则。
判断清单
- 是推理模型吗?先从去掉逐步提示开始。说清楚好答案长什么样——格式、受众、约束——让模型自己推理。想多推理或少推理,就用推理强度设置,并在定下来之前和带提示的版本对比一下。
- 是非推理模型,且任务确实需要多步吗?先试一句简短的推理要求,比如先给推导过程、再给最终答案,并在加别的东西之前先验证它是否真的改善了你的任务。
- 你是不是在叠技巧?默认情况下避免在同一个提示里同时叠加链式思考、少样本示例、自一致性和由易到难。叠得越多,模型越可能沿着你给的解题路径走,而不是自己的路径;如果确实要组合使用,请拿组合版和简单版对比测试。
- 你需要看到推理过程本身吗?如果推理过程本身就是交付物(审计、例题解答),那就明确要求,并接受更长的输出。但要记住,可见的步骤只是一份可以核查的说明,不是模型真实内部过程的保证记录——做审计时,请独立核对计算、证据和结论。如果只需要答案,就不要索要过程。
- 任务是格式问题,还是推理问题?示例对格式模仿和分类仍然有效。把它留给格式,对于用示例教模型怎么思考要谨慎。
替代做法
用真正能提升质量的东西代替推理提示:一个任务、一个受众、一个期望结果;一个真实示例或约束;以及对最终答案的清晰描述。然后对照这个描述检查输出。如果答案错了,只改一样东西——换模型、改推理强度设置,或者改一条指令——再跑一次,而不是继续叠技巧。
这和本站的过度提示建议是同一条规则:不值得留的东西就删掉。逐步提示最可能在非推理模型的多步任务上值得留,在推理模型上通常不值得——但请在你自己的任务上验证,而不是盲目相信。
本站中适用这一建议的模板
- 代码讲解——直接要你想要的讲解,别再规定模型必须遵循的逐步方法。
- 调试助手——给出报错、代码和已尝试的步骤;非推理模型上先试一句简短推理要求,推理模型上先试不加——再对比效果。
- 概念讲解——模板本身已经要求类比、核心思想和示例,再叠加逐步框架通常只增加篇幅,不增加清晰度。
来源
- 沃顿生成式 AI 实验室报告原文(Meincke、Mollick、Mollick 和 Shapiro),《The Decreasing Value of Chain of Thought in Prompting》:沃顿报告摘要与方法。本页所有数字均出自该报告;完整方法和背景请查阅原文。
- 对该报告的报道,主题是推理模型上链式思考收益的减弱:Prompt Engineering Techniques Shift as Models Absorb CoT。
模型行为会随模型和厂商指南的变化而变化。如果你的工具官方文档说某模型不需要或不适合推理指令,请以文档为准,而不是以本页的通用规则为准。