精读笔记

Problem Setting

《Transformer Geometry Observatory TGO-II: Representational Similarity Observatory》（arXiv preprint / 2026-07-03）关注的是 ViT 训练过程中内部表示几何如何演化，而不是提出更强的视觉模型。真正的问题是：当训练推进时，层之间是在变得更相似、更冗余，还是在同样的谱复杂度增长下进入不同表示子空间？困难点在于 covariance spectrum 只约束 eigenvalue，不约束 eigenvector；两个层可以有几乎相同的 effective rank 和 entropy，却执行完全不同的表示变换。以前 TGO-I 的 spectral observatory 已经看到 dimensional utilization 增长和若干层 spectral clustering，但它无法回答这些层是否真的表示相似，也无法判断复杂度增长来自 token 解耦、语义扩展还是流形自由度增加。关键矛盾是：谱层面看起来更“丰富”且部分层相似，但表示层面可能同时在分化。

Motivation

作者的核心动机是补上 TGO-I 留下的解释缺口：spectral geometry 描述方差如何分布，但不能说明样本几何关系、层间子空间 alignment、token 依赖结构如何变化。已有 transformer analysis 往往把 attention pattern、head behavior 或 downstream metric 当成主要对象，这会错过 representation 本身在训练中的几何重组。TGO-II 的观察起点很明确：如果训练导致 effective rank 上升，那么必须区分这是 token 逐渐独立、样本流形扩张、层间语义分化，还是纯粹优化带来的尺度/各向同性变化。缺的不是另一个 visualization，而是能把这些候选解释拆开的观测坐标系。

Core Idea

核心思想是把 ViT 训练动态视为一个多空间几何演化过程，而不是单一 feature covariance 的谱变化。CKA/SVCCA 观察层间表示是否仍对齐，TwoNN-ID 观察样本流形是否扩张到更多局部自由度，token covariance/coupling 观察 token 之间是否真的趋向独立。三者合在一起构成一个排除式解释框架：如果谱复杂度增加但 token coupling 仍强，那么 token decoupling 不能是主因；如果 CKA/SVCCA 下降，则 spectral clustering 不能直接解释为层冗余；如果 TwoNN-ID 同步上升，则 manifold expansion 是更合理的候选机制。

和 prior 的本质区别在于，它不再把“复杂表示”简单等同于更高 rank 或更分散的 variance，而是把复杂度拆成 alignment、local dimension、token dependency 三个层面。这引入的 inductive bias 是几何诊断优先：模型内部变化要通过多个互补几何投影来解释，而不是通过某一个 attention 或 spectral 指标下结论。它更 generalizable 的地方在于这套观测原则不依赖 ViT-Small/16 本身；但本文实际实验规模还不足以证明这种 generality。

Method

方法上只需要抓住三件事。第一，CKA/SVCCA 用来回答“层间是否表示相似”。CKA 比较样本几何关系，SVCCA 比较主导子空间，因此它们直接补上 spectral observable 无法分辨子空间方向的问题；核心变化是从 eigenvalue-level similarity 转向 representation-level alignment。第二，TwoNN-ID 用来回答“复杂度增长是否对应局部流形自由度增加”。它不是在看全局 rank，而是在估计样本邻域中可访问的维度，因此更贴近 manifold expansion 的说法；但其可靠性依赖采样密度和距离度量，文中未充分说明稳健性。第三，token covariance/coupling 用来检验 token diversification 假设。如果 token 趋向独立，token covariance 应该更接近对角；但观测到 off-diagonal structure 持续存在，因此复杂度增长更可能发生在强耦合 token 系统的变换上，而不是 token 独立化本身。固定验证子集、全层 activation extraction、跨 epoch 监控是必要工程支撑，但不是核心机制。

Key Insight / Why It Works

最有价值的 insight 是：representation complexity、layer specialization、token coupling 可以同时增强或维持，并不互相排斥。传统直觉容易把高维利用率增长解释成 token 或 feature 的“解耦”，但本文的 token covariance 结果迫使我们接受另一种机制：ViT 可能是在强 token 依赖结构上学习越来越丰富的耦合变换，而不是把 token 分散成彼此独立的局部变量。

真正可能成立的原因是 CKA/SVCCA、TwoNN-ID、token covariance 分别观测了同一表示矩阵的不同不变量：跨层 alignment、局部邻域维度、token-space dependency。单个指标都容易误导，但三者的趋势组合能排除一些简单解释。最核心贡献不是某个指标，而是“谱扩张 ≠ 表示冗余；维度增长 ≠ token 解耦”这两个负面结论。TwoNN-ID 与 TGO-I effective rank 的一致性是本文最强的正面信号，但仍然只是相关性；增益来源不清，因为没有干预实验证明 manifold expansion 是 causal mechanism。CKA/SVCCA 下降也可能部分来自优化导致的 gauge、normalization 或层深累积变换，而不必然等同语义 specialization。整体上，这不是 scaling、retrieval、test-time compute 或数据覆盖型贡献，而是 representation alignment / latent geometry 方向的诊断框架。

Relation To Prior Work

它最接近三条路线：CKA/SVCCA 式 representation similarity analysis、intrinsic dimension / manifold analysis、以及 transformer token interaction analysis。看似新的地方主要是把这些已有工具组织进 TGO 系列的训练动态 observatory 中，而不是发明新度量。实质新增信息在于它直接回应了 TGO-I 的 spectral clustering：谱相似层不必然表示相似，复杂度增长也不必然来自 token 解耦。

相对 attention-centric 分析，TGO-II 不试图解释 head 如何 routing，而是看最终表示几何是否发生可测的分化；相对 spectral-only 分析，它加入了子空间 alignment 和 local manifold dimension；相对普通 representation similarity work，它强调整个训练轨迹而非单一 checkpoint。它属于“mechanistic observability for representation learning”的谱系，贡献更像研究工具和假设生成器，而不是机制闭环证明。

Dataset / Evaluation

实验覆盖很窄：ViT-Small/16，在 ImageNet-100 上监督训练 100 epoch，用固定 1000 validation images 做观测。这足以作为 controlled observatory 展示趋势，但不足以支撑关于 Vision Transformers 普遍训练机制的强 claim。没有跨模型规模、patch size、训练目标、自监督/有监督、数据复杂度或 optimizer 的系统对照，因此很多现象可能是该设置下的 training dynamics，而不是 transformer 的一般规律。

Evaluation 支持的最强结论是“在该设置中，多种几何指标呈现一致训练趋势”。它不充分支持“semantic expansion”、不证明 Layer 4–5 是稳定 transition zone，也不能证明 manifold expansion 是 spectral expansion 的因果来源。token covariance 可视化说明 off-diagonal dependency persist，但 benchmark 没有验证这些 dependency 是否对预测、泛化或鲁棒性有功能意义。整体 evaluation 更像探索性观测，不是验证性机制实验。

Limitation

核心限制是因果归因不足。本文观察到 CKA/SVCCA 下降、TwoNN-ID 上升、token coupling 持续存在，但没有通过 ablation、干预、重训练或 synthetic control 来证明这些量之间的因果关系。所谓 semantic expansion 文中未充分说明，因为没有 probe、class separation、label alignment 或 interpretability evidence。Transition Zone Hypothesis 也只是层深几何曲线上的转折命名，尚不能说明网络在 Layer 4–5 发生语义阶段切换。

scalability 上限也不清楚。TwoNN-ID 在高维、小样本、非均匀密度表示上容易不稳，1000 validation images 可能不足以可靠估计每层 manifold structure。token covariance 的 off-diagonal 项可能受位置编码、patch layout、normalization、全局 CLS 聚合或数据共现结构影响，不一定代表有用的 token interaction。泛化性依赖单一数据和单一模型，可能主要来自特定 training recipe / data distribution。本文把问题从“谱复杂度为什么增长”转移到“流形为什么扩张”，但后者尚未被机制化解释。

Takeaway

• 最值得记住的有三点。
• 第一，spectral similarity 不能直接解释为 layer redundancy；要判断层是否冗余，必须看 representation alignment 和功能可替代性。
• 第二，ViT 的复杂度增长更可能是强耦合 token 系统上的 manifold expansion，而不是 token 逐渐独立化。
• 第三，中间层可能是表示流形最复杂的区域，最终层反而更压缩到任务相关子空间；这对剪枝、early exit、representation probing 和 layer reuse 都有迁移价值。

一句话总结

这篇论文在 TGO 系列中把 ViT 训练分析从 spectral observatory 推进到 representation/manifold/token-coupling observatory，真正贡献是提出“复杂度增长伴随层间分化但不依赖 token 解耦”的几何解释框架，而不是一个已被因果验证的机制理论。