精读笔记

Problem Setting

这篇论文真正处理的问题是：如何让 ViT 在不显著增加独立参数的情况下获得更深的有效计算，并且让这种深度真正转化为更强视觉表示。困难不在于把同一组 Transformer block 重复跑多次，这很直接；困难在于重复应用共享参数后，中间状态是否有信息增量、是否可训练、是否会退化为冗余轨迹。以前 recursive ViT / looped Transformer 常把递归当作压缩手段，最后只读出末端状态；MoR 则把递归深度变成 token-wise hard allocation，目标偏向 adaptive compute。它们卡住的地方是：递归产生了一串表示，但最终决策只使用其中一个状态。视觉任务的关键矛盾是，dense/shared visual representation 需要空间上协调一致的多层级信息，而 token-wise early exit 或 final-only recursion 都容易破坏或浪费这种多层级表示。

Motivation

已有路线不够的原因是它们把递归深度当作路径长度，而不是当作可被利用的表示集合。naive recursion 假设最后一步状态最优，但在共享权重反复迭代时，最后一步未必保留所有有用信息；hard MoR 假设每个 token 只需要一个最佳深度，但视觉 token 的角色更复杂，尤其在检测、分割中，局部纹理、边界、语义区域可能同时需要浅层和深层状态。作者的关键观察是：递归 ViT 的失败不一定是因为递归本身无效，而是因为中间递归表示没有被直接接入输出。真正缺的是一个能把递归轨迹转化为表征增益的 readout mechanism，而不是另一个省算力 router。

Core Idea

SoftMoR 的核心思想是：不要把递归计算看成通向最终状态的单一路径，而要看成一条共享参数生成的表示轨迹；最终表示应当从整条轨迹中按 token 自适应读取。每个 token 对所有递归步输出做 soft mixture，相当于学习一个空间位置相关的 depth ensemble。这样，递归步 1、2、3、4 都不是被丢弃的中间层，而是具有直接监督信号的候选表示。

它引入的 inductive bias 是“不同空间 token 可组合不同抽象深度”，而不是“不同 token 选择唯一深度”或“所有 token 使用最终深度”。这比 hard MoR 更适合视觉，因为视觉 token 共同服务于图像级或像素级表示，单独让某些 token 提前退出并不一定带来表示收益。它和 prior 的本质区别在于目标函数隐含的读出方式：prior 强调压缩或自适应计算，SoftMoR 强调递归轨迹的可聚合性和 effective-depth scaling 的可用性。

Method

方法只需要从机制层面理解。首先，SR-ViT 保留 ViT 的基本形式，把中间层组织成若干递归单元，重复应用共享 Transformer blocks；这提供了参数不变或小幅增长下的 effective depth，但单独并不能保证性能。其次，Soft Router 从输入 token 预测其对不同递归步的 mixture weights，再对所有递归输出做 token-wise weighted sum；这让每个递归步都能通过最终 loss 获得直接贡献，减少 final-only recursion 的信息瓶颈。第三，Step Transform 在递归步之间提供轻量 step-specific perturbation，避免完全相同 block 在不同步上只产生高度相似的状态；它的角色更像打破共享权重的同质化，而不是主要创新。第四，coarse-to-fine 的递归单元组织是一个经验上重要的结构 bias：前段较粗、后段较细似乎更容易形成渐进表示变化，避免 coarse-grained 的断裂和 fine-grained 的冗余。

Key Insight / Why It Works

最可能的核心贡献是 soft aggregation over recursive states，而不是递归本身。证据很直接：naive recursion 到更深 T 会退化，说明单纯增加 test-time compute / effective depth 不足以带来收益；加 Soft Mixture 后性能恢复并随 T 提升，说明关键在于让中间状态可被读出。这个机制本质上接近 depth-wise ensemble、multi-exit feature aggregation、latent trajectory readout，而不是传统意义上的 adaptive computation。

它有效的原因可能有三层。第一，优化层面：每个递归步输出都接入最终表示，使中间步不再只是隐式过渡状态，梯度路径更直接。第二，表示层面：不同递归步可能对应不同程度的上下文整合和语义抽象，soft mixture 允许 token 保留浅层细节同时吸收深层语义。第三，参数共享层面：共享 block 的重复应用天然容易产生冗余或收敛到过平滑状态，Step Transform + mixture readout 给这些状态创造了可分化空间。

但也要直接说：这仍然主要是一种 scaling 方法。它用更多 FLOPs 换更高精度，只是参数增长小。所谓“更深”并没有证明产生了新的推理能力，更像是把 ViT 的深度 scaling 从 parameter axis 转移到 recurrent compute axis。Step Transform 的增益可能部分来自增加了一点额外参数和 step-specific capacity；coarse-to-fine 的作用也可能是 architecture search 得到的 engineering choice，而非理论必然。文中没有充分证明 mixture weights 的语义分工具有稳定因果性，visualization 只能说明它看起来合理。

Relation To Prior Work

这篇论文处在 recursive Transformer、adaptive computation、deep ViT scaling 三条线的交叉处。和 Universal Transformer / ALBERT / SReT / looped Transformer 相比，它不是单纯权重共享，也不是主要为了压缩，而是把共享递归当作扩展 effective depth 的 scaling 轴。和 MoR / Vision-MoR / Edge-RecViT 相比，最关键差别是从 hard depth assignment 转向 soft depth aggregation：MoR 关心哪些 token 需要算到第几步，SoftMoR 关心每个 token 如何组合所有步的表示。

看似新的部分有一些是已有思想重组：token-wise router、multi-depth aggregation、参数共享递归都不是新概念；真正实质的新增信息是把它们放在视觉递归 ViT 的问题上，并证明 final-only / hard-only readout 是递归深度无法稳定 scaling 的瓶颈。它更像是把 MoE/MoR 的离散路由思想改造成 dense representation setting 下的 soft readout，而不是提出全新的 Transformer block。

Dataset / Evaluation

评估覆盖 ImageNet 分类、COCO 检测/实例分割、ADE20K 语义分割，任务范围足以支撑“视觉表征增强不只发生在分类上”这个 claim。尤其 dense prediction 的提升比较重要，因为如果递归只是改善 class token 或全局语义，COCO/ADE20K 不一定同步受益。消融也基本支持核心机制：Soft Mixture 比 naive recursion 和 hard selection 更能随 T 扩展。

但 evaluation 仍有明显 limitation。第一，没有真实延迟、显存峰值、吞吐或硬件部署分析；参数少不等于部署友好，因为 FLOPs 随递归深度明显增加。第二，T 的范围很窄，主要到 3/4，无法证明长期递归 scaling law。第三，比较对象主要是 DeiT-style plain ViT；和现代强 backbone、token pruning、efficient attention、ConvNeXt/Swin 等相比，结论更偏“plain ViT parameter-efficient scaling”，不是通用 SOTA backbone 结论。第四，训练 recipe 对更深 T 使用更长 warmup，虽然合理，但也让“结构本身 vs 训练稳定化”的归因略不干净。

Limitation

方法成立依赖一个隐含前提：递归轨迹中的不同 step 必须产生互补表示，而不是高度冗余或逐步退化。这个前提在小 T 上成立，但上限不清楚；SR-ViT-S 从 T=3 到 T=4 的分类增益已经很小，说明收益可能很快饱和。第二，它把参数 scaling 转换成 compute scaling，问题没有消失，只是从模型大小转移到推理计算量。第三，soft mixture 需要保存或至少累积所有递归步输出，对内存/实现也有额外约束，文中没有充分讨论。

泛化方面，跨任务结果说明 representation transfer 有效，但不能证明 mixture 学到的是任务无关的深度结构。可视化中所谓语义区域分工可能只是 correlated pattern，不是因果解释。增益来源也不完全清楚：effective depth、step transform、coarse-to-fine organization、训练 warmup、distillation 都可能贡献部分结果。最后，和 hard MoR 相比，它放弃了 adaptive compute 的稀疏性，因此如果目标是真正的效率而不是参数效率，SoftMoR 并没有解决核心瓶颈。

Takeaway

• 第一，递归 Transformer 的关键不只是共享参数重复计算，而是如何读出递归轨迹；final-state readout 是一个强瓶颈。
• 第二，视觉任务中 soft depth aggregation 比 hard token-depth assignment 更自然，因为视觉表示需要空间协同和多层级信息共存。
• 第三，SoftMoR 提供了一条 parameter-efficient depth scaling 路线，但不是 compute-efficient 路线，后续真正有价值的是把 soft aggregation 和动态计算结合起来。
• 第四，这个 insight 可迁移到视频、多模态、语言 latent reasoning：如果模型产生一串 recurrent states，不应默认最后状态最优，应该学习可微的 trajectory readout 或 state mixture。

一句话总结

SoftMoR 是把 recursive ViT 从“参数共享压缩模型”推进到“用共享递归轨迹做可学习深度聚合”的方法，真正贡献在于证明 soft readout of intermediate recursive states 比 final-only 或 hard-depth routing 更能把 effective depth 转化为视觉表征增益。