推理的误区
内在路径、推理强化学习与真理的边界
English Edition: The Myth of Reasoning
可观察推理与人类信心
人类推理通常被划分为演绎、归纳、类比、因果和直觉等熟悉的形式。但大语言模型在内部并不必然遵循这些类别。在预训练过程中，它可能形成许多人类无法识别、甚至尚不知道如何描述的计算路径。当这些路径产生有用答案时，我们往往只能在事后将其解释为捷径、直觉、模式识别或潜意识式推理，因为我们缺乏更准确的语言来描述其中实际发生了什么。
推理强化学习会推动模型采用人类能够观察和评估的推理形式。逐步解释、任务分解、反思、验证以及显式的中间结果，使模型行为更容易被我们理解。它们也可以减少某些类型的幻觉，并提高我们对答案的信心。但这主要是让推理更加符合人类的预期，并不能证明模型天然就必须以同样的方式进行推理。
从弥散探索到有效路径选择
在强化学习的早期阶段，推理在外部往往表现得较为冗长，而内在路径之间的分化仍然较弱。模型会将中间步骤语言化、重新表述问题并探索不同选择，但这并不一定意味着推理更加丰富。此时，多条可能路径仍可能同时保持活跃，因此随着模型在这些路径之间搜索，可观察的推理轨迹也会随之扩展。由于边界条件尚未充分稳定哪些路径能够可靠地通向目标不动点类，这一阶段的探索往往也缺乏足够的系统性。
随着强化学习训练不断推进，反复施加的边界条件会逐渐区分可行路径与不稳定路径。保留下来的路径会变得更加成熟，也更容易被可靠地访问，从而减少不必要的语言化脚手架。因此，在强化学习后期，即使探索变得更加有目的，可见的推理轨迹也可能变得更短。从深度流形的视角看，这并不一定意味着推理变少了，而更可能意味着路径选择更加稳定：更短的可观察轨迹，由组织得更好的内在计算所支撑，并最终收敛到同一个不动点类。
推理、信心，以及为何两者都不能保证真理
更深层的问题在于，理由并不一定等于真理。一条推理链可以连贯、有说服力，并且在内部保持一致，但它仍然可能建立在不完整的信息、错误的假设，或对现实并不充分的理解之上。在某些领域，答案可以通过独立方式得到验证。但在许多其他领域，并不存在一个完整的基准真值机制，能够确认我们所观察到的推理，确实就是事情发生的真实解释，或者能够证明为什么这个结论必然正确。
这就是为什么我将其称为”推理的误区”。这里的误区，并不是说推理没有价值，而是认为只要观察到一个令人信服的推理过程，就能够获得对真理的保证。推理强化学习可以让模型行为对人类而言更容易理解、更可控，也更值得信任，但人类的信心并不等同于终极真理。除非存在一种独立的方法，能够同时验证推理过程及其结论，否则我们在模型推理过程中记录下来的推理，仍然只是一条可能成立的路径，而不是对现实具有保证性的解释。
This article is now listed under “Myth Series” in Deep Manifold, Two Years Later: 2024–2026.