精读笔记

Problem Setting

论文关心的不是“神经网络有没有内部表示”这个经验问题，而是更尖锐的 identifiability 问题：在观测变量 x 由不可见 latent z 经 invertible nonlinear ψ 生成时，训练 proxy tasks 是否足以让模型恢复 z，而不是某个任意非线性重参数化 T(z)。

真正困难点在于 nonlinear latent variable recovery 的经典负结果：只看观测分布，真实 latent 一般不可辨识。任何足够复杂的 invertible transform 都能产生同样能解释数据的 latent coordinate system。因此，“world model”如果定义为恢复生成变量，就不能只靠 task loss 或 likelihood 来定义成功。

这篇论文抓住的关键矛盾是：task performance 上等价的解，在函数实现复杂度上不等价。现代神经网络虽然过参数化、可以 memorization，但训练动力学和架构通常有 simplicity / low-complexity bias。问题因此变成：这种 implicit bias 能否把等价解空间中的某些表示筛出来，并且筛出来的是否正好接近真实 latent。

Motivation

已有路线要么停留在经验观察：LLM / sequence model 内部似乎有 board state、truth direction、space-time feature；要么依赖 nonlinear ICA / causal representation learning 中较强的外部结构假设。前者缺少可证的机制解释，后者又不太像当前大模型的预训练范式。

作者真正想补的缺口是：不额外改变训练范式，只利用 proxy tasks 和 neural nets 的 implicit bias，是否可以解释 world model 的出现。也就是说，world model 不是通过显式 latent supervision、干预数据或 auxiliary variable 被识别出来，而是作为低复杂度 realization 的副产物出现。

为什么想到 Boolean / Fourier-Walsh 这条路也很直接：连续函数复杂度太难定义，Kolmogorov complexity 不可计算，参数范数又依赖 architecture。把有限精度计算中的变量看成 bit strings 后，Boolean function space 有完整基底，degree 成为一个可操作的函数复杂度度量。这是一个强 abstraction，但它让问题变得可证明。

Core Idea

核心思想可以概括为：用“实现一个任务的分解方式”而不是“任务函数本身”来定义复杂度竞争。flat realization 直接从 x 到 output；hierarchical realization 先学 Φ(x)，再用 g(Φ(x)) 解任务。单个任务时，显式学 Φ 往往多余，因为只要学当前任务需要的 Fourier components 即可；但多任务时，多个任务共享 Φ，representation cost 可以被摊薄，真实 latent 如果能让许多任务变简单，就会在总 realization degree 上胜出。

和 prior 的本质差别在于：它不是给 latent 加统计结构来恢复 z，而是给 solution space 加 inductive bias。非辨识性没有被观测分布本身消除，而是被“哪些函数更容易被模型实现”这个偏好打破。这一点很重要：它把 world model learning 从 data identifiability 问题转成了 algorithmic / architectural identifiability 问题。

理论上成立的直觉是：如果真实任务分布偏向 latent 上的低阶函数，那么真实 latent 坐标系是使平均 task head 最简单的坐标系。任意非线性重参数化虽然保留信息，但会把低阶任务扭成高阶任务；低 degree bias 因此会偏好接近真实 latent 的表示。最后只能恢复到 permutation / sign flip，因为这些是一阶 Boolean transform，对 degree 不造成额外复杂度。

Method

1. 用 latent recovery 定义 world model：Φ 学到 world model 意味着 Φ(x)=T(z)，其中 T 必须属于简单 transform class。这个定义解决的是“world model 到底是什么”的形式化问题，但它也立即暴露出 nonlinear latent recovery 的不可辨识性。

2. 用 Boolean 化 + Fourier-Walsh degree 定义复杂度：把 x,z 视为有限精度 bit strings 后，任意任务函数可展开在 parity basis 上，degree 衡量最高阶交互。这个选择的必要性在于提供一个 function-space complexity，而不是 parameter-space proxy。

3. 用 realization degree 比较 flat 与 hierarchical solution：复杂度不是 deg(h) 本身，而是分解中各层函数 degree 的和。这个设计是论文的关键，因为 representation learning 的优势只会在“共享中间变量”时显现；如果只看整体函数，flat 和 hierarchical realization 在输入输出上没有区别。

4. 用 multi-task averaged complexity 建立 identifiability：单任务定理说明低 degree bias 不会自动带来 representation learning；多任务定理说明只有当许多任务在某个 representation 上 conditional degree 为正时，共享表示才值得学。这解释了为什么 next-token prediction / contrastive learning 这类目标可能作为隐式多任务机制。

5. 用 k-degree task distribution 打破 no-free-lunch：如果任务均匀采样自所有 Boolean functions，则所有可逆 representation 平均一样好；只有任务分布偏向 latent 上低 degree 函数，真实 latent 坐标才有复杂度优势。

6. 用 basis compatibility 连接 architecture：即使任务分布低 degree，如果模型诱导的函数基底和任务自然基底不兼容，低复杂度偏置也会偏向错误表示。这部分把 world model learning 的条件从“数据 + 任务”扩展到“数据 + 任务 + 架构”。

Key Insight / Why It Works

最核心的 insight 是：world model 的可辨识性来自“跨任务的复杂度压缩”。单个任务不需要 world model；它只需要足够解释 label 的 shortcut。只有当许多任务共享同一 latent generator，且这些任务在真实 latent 坐标下整体更简单时，恢复 latent 才会变成最便宜的实现方式。这比“模型为了预测而理解世界”的说法精确得多：模型不是因为预测本身学世界，而是因为一组预测任务在某个 latent coordinate system 下可被共同压缩。

这也解释了为什么作者强调 low-degree task distribution。uniform task distribution 下，每个 representation 都会让某些任务简单、另一些任务复杂，平均后没有优势；真实 latent 只有在任务分布本身偏向其低阶结构时才特殊。换句话说，world model learning 并不是 free lunch，而是依赖世界任务分布和模型 bias 的匹配。

我认为论文最实质的贡献是把 nonlinear non-identifiability 和 neural implicit bias 接起来：同样的 data likelihood 下，function complexity 可以作为额外选择原则。这个观点可迁移性很强，尤其适合解释为什么 foundation models 的 representation 既可能出现抽象结构，也会在 OOD / counterfactual tasks 上失败：如果 OOD task 不在训练任务分布诱导的低复杂度 closure 内，所谓 world model 不会自动泛化。

相对而言，实验部分更像辅助说明，不是核心证据。polynomial extrapolation 和 physical-law prediction 的增益主要体现 basis compatibility：给网络加入 identity / quadratic activation，使其更容易表达目标函数族。这里的改善更像 better inductive bias，而不是证明模型真的学到了一般意义的 world model。物理任务中 near-zero training error + OOD improvement 支持“更合适 basis 有助于外推”，但不能排除任务过于简单、结构被 activation 直接编码、数据生成规律过窄等因素。

这篇论文本质上不是 scaling、retrieval、memory reuse 或 test-time compute 方法；它讨论的是 representation alignment induced by low-complexity bias。它的结论也不是“神经网络会学 world model”，而是更条件化的：“当 proxy task distribution 的低复杂度结构与真实 latent 坐标及模型 basis 对齐时，低复杂度偏置会选择 world-model-like representation。”

Relation To Prior Work

和 nonlinear ICA / causal representation learning 最接近的共同点是都在讨论 latent recovery；不同点是 prior 通常靠数据生成结构、辅助变量、干预或条件独立来恢复 latent，而这篇靠任务分布和学习算法偏置来恢复。它不是替代 nonlinear ICA，而是给现代预训练范式下的 identifiability 提供另一种解释。

和 self-supervised representation learning 的关系也很直接：contrastive / masked prediction / next-token prediction 都可以被看作大量 proxy tasks。论文提供了一个判断 objective 好坏的视角：好的 proxy task 不是信息量越大越好，而是 conditioning on semantic/world latent 后能显著降低复杂度。由此看，naive reconstruction 可能差，因为 x→x 本身低 degree / trivial，不迫使抽象 representation 出现。

和 mechanistic interpretability 中的 linear representation hypothesis 的连接在于：Boolean setting 下可恢复到 permutation / negation，即一阶 Boolean transform；这对应连续空间中的 linear / affine feature directions。这里的新增信息是：线性表示不只是经验现象，可能是 low-degree bias 下唯一稳定的低复杂度 coordinate system。

和 simplicity bias / spectral bias / low-degree learning 文献相比，这篇的创新不是发现神经网络偏好简单函数，而是问这种偏好能否解决 world model identifiability。真正新增的是 realization degree + task distribution + latent recovery 三者的组合。

basis compatibility 部分和 algorithmic alignment、activation-function inductive bias、neural tangent / architecture-dependent basis 相关。新意在于它把 architecture 是否合适解释为：模型诱导基底是否保持任务自然基底的 degree 结构。这个表述比较干净，但也高度抽象。

Dataset / Evaluation

evaluation 分两类：理论定理和小规模 proof-of-concept 实验。理论才是主证据；实验并不能覆盖论文最强 claim。

polynomial extrapolation 用于验证 basis compatibility，任务很干净：ReLU MLP 在训练区间拟合但外推失败，加入 identity / quadratic activation 后更容易恢复 polynomial basis。这确实支持“architecture basis matters”，但它基本是一个已知 inductive bias 现象的重新解释，不应被读成 world model learning 的实验证明。

physical law prediction 更接近 world model 叙事，但仍然是受控合成环境：抛物运动、弹性碰撞、低维状态、明确的解析规律、分布外变化也较窄。模型改动只是替换 transformer MLP block 中的 activation mixture；性能提升说明该 architecture 更适合表达相关动力学规律，但 claim 的外推范围有限。

没有真实世界大规模任务、没有真实 LLM 表征分析、没有展示 latent recovery 的可解释中间变量，也没有系统 ablation 来分离 activation basis、参数量、优化稳定性、训练数据覆盖的影响。因此实验支持的是“更匹配的 basis 可改善 OOD extrapolation”，而不是“神经网络在实际复杂环境中会学 world model”。

Limitation

第一，Boolean degree 是一个强建模选择。它在理论上优雅，但真实连续任务、token representation、视觉特征和物理状态是否对应低 Fourier-Walsh degree，并不清楚。把有限精度变量视作 Boolean 虽然形式上无损，但复杂度结构可能完全改变；bit-level low degree 未必对应人类语义上的 simplicity。

第二，low-degree bias 被直接假设为模型最小化 realization degree。现实 neural training 是否最小化这个量，文中未充分说明。已有工作支持某些 Boolean 输入上的低阶偏好，但从该偏好到大模型训练的 general mechanism 仍有距离。

第三，Theorem 4.8 需要任务分布对低 degree latent functions 有偏好，并且 p1>0，即存在非零概率采样 degree-1 tasks。作者说概率可指数小，但这仍然是 latent variables 作为 task outputs 的隐式监督。没有 degree-1 task 时唯一性并未解决，文中也给出 hard example。这是核心理论上限，不是小技术瑕疵。

第四，多任务数量趋于无穷，且任务从理想分布采样。现实预训练目标是否等价于覆盖足够丰富的 low-degree task ensemble，是一个未经验证的假设。实际大模型的“world model”可能更依赖 data coverage、memorization、distributional redundancy，而不是定理中的复杂度最优性。

第五，basis compatibility 把问题部分转移到了“自然基底是什么”。如果不知道任务的自然 basis，如何设计兼容 architecture 仍然困难。论文实验通过加入 polynomial-friendly activations 获益，但这更像人工注入正确 inductive bias；在开放世界中，basis 可能多尺度、组合、非静态、甚至任务相关。

第六，OOD generalization 定理只覆盖特定 Hamming ball setting 和 parity downstream task。它证明了 world model 在某些 extrapolation regime 下优于 flat solution，但没有证明一般 OOD robustness。所谓泛化优势依赖 downstream task 有足够大的 conditional degree；对低级感知细节任务，world representation 甚至可能不是优势。

第七，实验增益来源不清。尤其 physical-law 实验中，改 activation 后是否只是更容易拟合二次运动方程，而不是形成长期状态建模，无法从结果中区分。这里的“world model”更像 equation-family inductive bias，而不是 learned simulator with causal state abstraction。

Takeaway

• 1. 最值得记住的是：world model learning 不是单任务预测的自然结果，而是多任务压缩的结果。
• 没有任务共享压力，低复杂度偏置反而会偏好 flat shortcut。
• 2. 非辨识性不一定只能靠数据假设解决，也可以靠算法/架构的 function-space bias 解决。
• 这为理解 foundation model representation 提供了一个更贴近实际训练范式的理论入口。

一句话总结

这篇论文把“神经网络何时学 world model”重写为一个由多任务低复杂度压缩、任务分布偏置和架构基底兼容性共同决定的 latent identifiability 问题，是 world model 理论化的一步，而不是大规模实证证明。