精读笔记

Problem Setting

《Same Concept, Different Directions: Cross-Modal Feature Heterogeneity in Sparse Autoencoders》（arXiv preprint / 2026）。这篇论文不是在一般性地提升 VLM 表征，也不是单纯提出一个 SAE 变体；它真正处理的是 multimodal SAE 中的一个建模错误：把“同一概念跨模态可对应”误写成“同一概念跨模态必须共享同一方向”。在 joint embedding space 中，SAE 的一个 latent coordinate 绑定一个 decoder direction；如果图像的 dog direction 和文本的 dog direction 并不一致，那么要求它们共用同一个 latent，本质上是在要求一个向量同时重构两个不同方向。以前方法卡在这里：看到 modality split 后，直接用 auxiliary loss 让 image/text activation 对齐，却没有问这个 split 是否是 reconstruction objective 的合理选择。关键矛盾是：可解释性希望同一概念共享 index，重构 fidelity 希望不同几何方向分开表示。

Motivation

已有路线不够的地方在于，它们把 modality split 当成 latent activation 层面的错位，而不是 feature geometry 层面的冲突。作者的核心观察是：用 modality-specific SAE 估计 image/text feature directions 后，即使两个 latent 在 paired samples 上高度 coactivate，它们的 decoder directions 仍经常有非零甚至不小的 cosine distance。这说明 joint embedding 的“joint”并不等于 feature-level directional sharing。真正缺的是一个区分 semantic correspondence 与 directional identity 的框架。这个动机是有价值的，因为它把过去看似需要更强 alignment regularizer 的问题，转写成了“不该在训练时合并异质方向”的问题。

Core Idea

论文的核心思想是：跨模态 SAE 不应该强迫同一概念只有一个几何方向，而应该允许每个模态保留自己的 feature basis，再在 latent index 层建立 correspondence。也就是说，它把 shared latent coordinate 从一个重构用的几何对象，降级为一个跨模态访问接口。

这个 inductive bias 很干净：reconstruction 学的是 modality-specific geometry，alignment 学的是 paired-data-induced correspondence。相比 prior 的 shared SAE + alignment loss，这里不再让一个 decoder column 同时服务两个可能不共线的方向，因此理论上避免了平均方向、feature collapse 和 dead/degenerate alignment。它可能更 scalable 的原因也在这里：随着概念数和模态差异增加，强行共享 basis 的冲突会增长，而后验匹配只需要在两个已学习 basis 之间建立稀疏对应。

Method

方法机制可以压缩为三件事。第一，分别训练 image SAE 和 text SAE，解决的是 shared decoder 在异质 feature directions 上的竞争；必要性在于如果 ϕ_i 和 ψ_i 不共线，一个共享 column 的最优解往往是折中方向，重构和 feature recovery 都会变差。第二，在 paired image-text embeddings 上计算 latent coactivation correlation，解决的是两个 SAE 的 latent index 任意排列问题；必要性在于分开训练保留了几何，但丢失了跨模态坐标系统。第三，用 Hungarian matching 找最大相关的 permutation，只重排 text latent index，不改 decoder vectors；核心变化是 alignment 不再改变 learned directions，因此不会把几何异质性压平。这里真正重要的是 decoupling，不是 Hungarian algorithm 本身。

Key Insight / Why It Works

最关键的 insight 是：modality split 可能不是 SAE 失败，而是 SAE 在 reconstruction objective 下对 cross-modal feature heterogeneity 的正确反应。只要同一概念的 image/text feature directions 不同，一个足够宽的 SAE 就有动机把它们放到两个 latent；这不是坏优化，而是保真重构的自然解。反过来，alignment loss 的作用不是“发现更好共享概念”，而是用 reconstruction loss 换 latent index sharing。

方法有效主要来自更好的 inductive bias，而不是 scaling。它没有引入更大模型能力，也没有更复杂 test-time compute；它只是避免在训练目标里混合两个目标：feature recovery 和 cross-modal alignment。synthetic theory/experiment 中最有说服力的部分正是这一点：当 heterogeneity 非零时，shared SAE 的 collapse 是结构性问题；post-hoc alignment 不参与 reconstruction，因此不会诱导 collapse。

最可能的核心贡献是“semantic correspondence ≠ directional identity”这个建模修正，以及由此推出的 reconstruction-alignment trade-off。modality-specific SAE 是自然推论，不算复杂算法创新；Hungarian matching 更是标准 retrieval/alignment 工具。真实任务上的提升很可能来自 representation alignment 的接口变好，而不是 latents 本身突然更 monosemantic。需要警惕的是，post-hoc correlation matching 依赖 paired data，本质上带有隐式监督；如果 benchmark 与 matching data 的概念分布高度重合，retrieval/steering 增益可能部分来自数据覆盖，而不是普适的 feature-level alignment。

Relation To Prior Work

最接近的是三条线：一是 CLIP/VLM embedding geometry 中的 modality gap；二是 SAE-based multimodal feature interpretation；三是用 group-sparse 或 Iso-Energy 之类 auxiliary loss 强化跨模态 latent sharing。本文真正不同的地方是，它不把 modality gap/split 当作待消除噪声，而把其中一部分解释为 feature-level heterogeneity。

和 Kaushik/DHIMO¨ILA 一类方法相比，本质差异不是 loss 形式，而是优化对象的拆分：prior 在训练中把 alignment 写进 SAE objective，本文训练时完全尊重 modality-specific basis，训练后只做 index matching。看似新的 post-hoc alignment 其实是已有 matching/retrieval 思想的重组；实质创新在于指出为什么 training-time alignment 在几何上会有代价，并给出一个简洁理论解释。它属于 mechanistic interpretability + representation geometry 的交叉谱系，而不是传统多模态对齐方法。

Dataset / Evaluation

evaluation 基本覆盖了 claim 所需的三层证据：方向异质性的观察、机制层面的 synthetic 验证、真实 embedding 上的 downstream utility。多 VLM family 和大小的 Figure 2/Appendix 结果支持 heterogeneity 不是单一模型偶然现象；synthetic setup 因为有 ground-truth features，最能验证 feature collapse 和 recovery trade-off；MS-COCO retrieval、ImageNet zero-shot、concept steering 则说明 aligned latents 在实际任务中可用。

但真实世界验证仍有明显边界：主要是 CLIP-like contrastive embedding，而不是 LLaVA/Flamingo 类 autoregressive VLM 的内部表示；任务也主要是 retrieval/classification/steering，不是复杂 reasoning 或 grounded dialogue。benchmark 确实支持“post-hoc alignment improves cross-modal latent usability without hurting reconstruction”，但没有完全证明“coactivation matching 可以稳定恢复真实语义 correspondence”。monosemanticity score 使用外部 encoder，本身也可能偏向 CLIP-like semantic neighborhoods。

Limitation

最大前提是 linear representation hypothesis 和 SAE feature recovery 本身。如果 decoder columns 并不是可靠 feature direction，所谓 heterogeneity 可能混入 SAE 训练偏差、rotation ambiguity 或 dead feature artifact。第二个前提是 paired coactivation 可以代表概念对应；这在常见物体和短 caption 上可行，但对关系、属性组合、抽象概念、否定、计数、多实体绑定会更脆弱。第三，方法默认 correspondence 近似 permutation；真实语义空间更可能是 many-to-many、层级化、模态非对称的。

scalability 上限在 matching 质量而非 SAE 训练本身。模态-specific SAE 会把问题从“训练时冲突”转移成“训练后配对识别”：如果数据不足、概念长尾、coactivation 噪声大，post-hoc alignment 会失败。增益归因也不完全清晰：reconstruction improvement 主要来自分开建模，retrieval improvement 主要来自 correlation matching，两者不是同一个能力。文中未充分说明在弱配对、跨域迁移、非对象概念和更深层 VLM 表示中的表现。

Takeaway

• 1. 对 multimodal SAE 来说，强制共享 latent index 不是天然正确；如果 feature directions 异质，modality split 可能是保真表示的结果。
• 2. 更合理的设计范式是先学 modality-specific geometry，再学 cross-modal correspondence；这比在一个 loss 里同时优化 reconstruction 和 alignment 更干净。
• 3. 这篇真正推动的是对 joint embedding 的理解：joint space 里可以有 shared semantics，但不必有 shared basis。
• 4. 未来更值得做的是从 hard permutation 走向 soft / hierarchical / many-to-many alignment，并检验这种 heterogeneity 在 autoregressive VLM 内部层和更复杂语义中的存在方式。

一句话总结

这篇论文把 multimodal SAE 的 modality split 从“activation 对齐失败”重新解释为“同一语义跨模态方向异质”导致的几何冲突，并提出用 modality-specific feature recovery 加 post-hoc correspondence matching 取代 training-time 强制共享 latent。