神经学习的喜剧
阻碍理论、同伦、同调与错误提升
English Edition: The Comedy of Neural Learning
当数学说“不”
阻碍理论与 Kan 扩张
阻碍理论从一个相当谦逊的问题开始：这个局部的、弱的、不完整的，或从别处搬运过来的结构，能不能被提升成某种完整、严格、全局而且体面的东西？然后，数学会给出它一贯令人安心的回答：也许可以——前提是我们先准确找出它为什么根本做不到。所谓阻碍，就是对失败的正式记录。某个东西无法延拓，某个图就是不肯交换，某个在局部看起来完全无害的结构，一到了全局突然变成不可能。在工程里，我们把这叫 bug；在数学里，我们给它分配一个上同调类，发表一个定理，然后所有人心情都会好一点。
Kan 阻碍就是这种尴尬的一种形式。旧关系可以通过 Kan 扩张被运输到一个新的范畴结构中，但只能运输到那些旧关系真正能够到达的地方。如果新结构里出现了一个真正新的类型、新关系，或者一个与旧体系之间根本没有有意义路径的验证器，那么就已经没有什么东西可以继续运输了。空值并不是软件出了故障，而是范畴论非常礼貌地告诉你：“你的世界观里没有这个对象。” 这大致就是搜索与发现之间的一条边界。搜索，是在旧房子里重新摆家具；发现，则是突然意识到，你正在寻找的那个东西，需要一间建筑师当初根本没设计过的房间。
路径、骨头与数学外交
同伦与同调
同伦阻碍提供了一种更加外交化的失败方式。两条路径也许并不完全相同，但也许其中一条能够连续变形成另一条，而不需要把空间撕裂。大家仍然可以保持友好。遗憾的是，最终总会有人问一句：这个图能不能严格交换？于是外交会议就结束了。弱相容并不总能升级成严格相等。同伦会说：“这两条路基本上是一样的。” 严格数学会回答：“‘基本上’不是一个定理。” 五分钟后，阻碍理论抱着一摞文件走进房间。
同调就没那么多感情了。它并不关心每一条路径经历了多少戏剧性的转弯。它关心的是，形变之后到底还有什么留下来：洞、环、边界，以及那些持续存在的关系结构。同伦一路跟着故事里的角色跑；同调等大火烧完以后再进场，数一数还有多少家具幸存下来。在神经学习里，同伦关心的是，不同计算路径能否在不撕裂已学习空间的情况下彼此变形；同调关心的是，在预训练、微调、奖励塑形、持续学习，以及我们这个月刚发明出来、据说能让模型更对齐、更智能，或者至少在 demo 时少丢一点脸的新仪式之后，更大的关系结构是否仍然存活。
模型没有向现实宣誓
错误关系与错误提升
这件事之所以特别好笑，是因为神经网络并不学习真理。它学习的是数据之间的关系。这既是它的天才之处，也是许多昂贵会议的起点。如果现实世界反复告诉模型水和油会分层，那么它可能学会相分离。如果训练数据反复展示制作精良的合成视频，在里面水和油像多年老友一样完美融合，那么模型也可能学会那个关系。模型不是物理现实的神父，它从来没有宣过誓。它做的事情，是在边界条件之下稳定关系。只要你以足够高的一致性和足够强的视觉自信反复提供一个错误关系，它完全可能为一个从未在 GPU 之外发生过的东西构造出一条非常优秀的内部路径。路径是真的，物理是假的。这就是制作水准极高的幻觉。
这也正是为什么阻碍理论不会自动拯救我们。一个范畴上的阻碍也许能够阻止诚实的数学运输，但神经网络从来没有签署过任何协议，说到了这里就必须停下来。当旧结构已经没有有效关系可以继续提供时，模型完全可以继续走。它可以弯曲、插值、组合，甚至在形式理论已经什么都给不出来的地方，制造一条新的路径。有时候，这是发现；有时候，这是穿着实验室白大褂、手里还拿着置信区间的胡说八道。从深度流形的视角看，真正的问题因此并不是模型能不能生成一条路径。生成路径本来就是它擅长做的事。真正的问题是，这条路径是否稳定、是否可复用、是否与原有同调结构相容，以及最终能不能被现实世界验证。地图上出现一条公路，并不意味着桥真的已经修好了。
用数学组织起来的蛮力
正向—反向引擎
更深一层的笑点在于，这种非凡能力恰恰来自神经学习最基本的结构。AI 的核心是学习，而学习本质上是一个反问题：我们观察数据，并试图恢复出一个未知的关系结构，使它能够产生与这些观测相容的结果。神经网络真正做出的巨大跃迁，是把反问题和正向问题塞进了同一台机器里 (第 3.1 节)。正向传播说：“这是当前结构给出的结果。” 残差说：“错了。” 学习过程修改结构。正向传播再试一次。残差再抱怨一次。如此循环几十亿次、几万亿次，直到抱怨声小到一个足够令人满意的程度，然后我们把这个结果重新命名为“智能”。正向与逆向计算因此构成一个统一的迭代引擎：正向、残差、更新，再正向。它是被数学组织起来的蛮力。蛮力还是蛮力，只不过现在配上了加速器。
有两个条件，让这个引擎变得格外危险, 当然，大多数时候是以一种很有生产力的方式：无属性与足够充分的满秩结构。无属性激活本身并不知道自己属于语言、图像、音频、蛋白质、流体力学，还是猫视频；它们会参与到学习过程最终能够构造出来的任何关系结构中。足够充分的满秩变换则提供大量独立方向，使这些关系能够被分离、重组、弯曲并继续延伸。两者结合起来，给了正向—反向引擎极大的结构搜索自由度。这也是为什么神经学习有时能够跨越显式符号运输无法跨越的边界；但同样，这也是为什么错误提升几乎是免费随机器附赠的功能。范畴论可以立一块牌子，上面写着 “此前方不存在有效延拓”。同伦可以提醒你，两条路只是近似相容。同调可以报告，好几座桥已经没了。神经网络仍然可能直接开过去，连夜修一条新路，然后顺手更新地图。有时候，那是智能；有时候，那是发现；有时候，那只是视频里水和油混得特别漂亮。真正的喜剧在于：在模型内部，这三种情况看起来可能惊人地相似。
This article is now listed under Mechanistic Interpretability & Alignment and Mathematical Considerations Series in Deep Manifold, Two Years Later: 2024–2026.