精读笔记

Problem Setting

这篇论文实际处理的是 vision-language dataset distillation 在极端压缩下的 alignment capacity allocation 问题：给定很少的 synthetic image-text pairs，如何让它们训练出的 retrieval model 仍保留真实数据中的跨模态 ranking 结构，并且能跨架构迁移。真正困难不在于生成看起来合理的图片或文本 embedding，而在于 synthetic set 必须同时承载 pairwise discriminability、image-text relevance order、modality-private variation 和 teacher encoder 的局部几何。以前方法的瓶颈是 alignment 太“均匀”：CovMatch 匹配 Euclidean cross-covariance，LoRS 在 similarity 层面低秩化，trajectory methods 继承 expert path，但它们都没有明确回答哪些 representation directions 值得对齐、哪些方向应该避免过拟合。这个任务的关键矛盾是：VL representation 中有用共享语义是低维的，但压缩优化很容易把高维 residual 当成信号去拟合。

Motivation

作者认为已有路线不够，是因为它们把跨模态对应关系看成整体统计或整体 similarity，而不是一个有主次、有层级、有 residual 的结构。核心观察有两个：第一，image-text correlation 通常 rank-deficient，dominant subspace 承载稳定共享语义，residual 更多是弱相关、私有或噪声结构；第二，image-text semantics 不是 flat 的，caption 与 image 之间常有 abstraction-level mismatch，强制 Euclidean co-location 可能破坏这种结构。关键缺口是显式控制 alignment capacity：在小预算 synthetic set 中，不应把每个 feature direction 都当成同等重要的跨模态信号。RAHA 的动机因此不是“hyperbolic 更高级”，而是用几何和秩分解共同约束 synthetic data 应该保存什么、放弃什么。

Core Idea

RAHA 的核心思想是把 VLDD 从 full-space Euclidean matching 改成 rank-aware relevance compression：先在 hyperbolic geometry 中表达图文语义的层级/径向结构，再把 real batch 的跨模态 coupling 分解为 dominant range 与 residual complement，只把主要 alignment pressure 放在共享 range 上，residual 只做受控保留和压缩。这样 synthetic set 不再试图复刻真实数据的完整 feature distribution，而是优先复刻最可能影响 retrieval ranking 和 transfer 的低秩共享结构。

本质区别在于它改变了信息流的组织方式。CovMatch 是从 real/synthetic covariance 的整体差异回传信号，LoRS 是在 pairwise similarity 矩阵上低秩近似，RAHA 则先识别跨模态相关的 representation directions，再在这些 directions 上匹配 row-wise relevance distribution。它引入的 inductive bias 是双重的：hyperbolic geometry 偏向 coarse-to-fine semantic organization，rank decomposition 偏向 dominant shared factors。理论上这更适合小预算，因为 synthetic capacity 被集中用于稳定共享语义，而不是消耗在全维 residual fitting 上。

Method

方法上真正必要的机制有三点。第一，hyperbolic lifting + geodesic contrastive loss 解决的是 flat Euclidean alignment 过强的问题：matched image/text 不必在普通向量空间中完全塌缩，而可以保留 radial hierarchy 和 abstraction gap；这给后续 relevance matching 一个非均匀几何。第二，tangent-space SVD decomposition 解决的是 alignment direction 不可区分的问题：用 real cross-covariance 的 singular spectrum 自动选出 dominant coupling rank，把 image-side 和 text-side 的共享方向显式定义出来。第三，range/residual relevance matching 解决的是 synthetic rows 与 real rows 没有一一对应、且 residual 容易污染优化的问题：range 中匹配 row-wise relevance distribution，residual 中允许有限匹配但用 energy ratio 压制其主导性。

这套方法的关键不是每个 loss 的形式，而是 asymmetric pressure：range 被鼓励保留足够 coupling energy，residual 被允许存在但不能超过 dominant shared structure。这个不对称性是 RAHA 相比普通 covariance matching 更有意义的地方。

Key Insight / Why It Works

我认为最可能真正有效的部分是 rank-aware alignment capacity control，而不是 hyperbolic contrastive loss 本身。VLDD 的小预算场景本质上是 capacity bottleneck：synthetic data 不能表示真实分布的全部自由度，因此必须有机制决定优先表示哪些关系。RAHA 用 real cross-covariance 的 top singular subspace 作为“共享语义压缩通道”，这比全维 covariance matching 更符合数据结构，也比 LoRS 的 similarity-level low-rank 更接近 representation-level causal handle。

hyperbolic geometry 的作用更像是有用但未完全被证明的 inductive bias。它可能通过 radial reweighting、非线性 feature concentration 和 geodesic distance 改变了 covariance spectrum，使 dominant range 更清晰；也可能只是提供了一种 regularized nonlinear transform。文中宣称 hierarchy-aware，但实验并没有严格证明 singular directions 对应语义层级；feature visualization 只能作为弱证据。因此“hyperbolic hierarchy”不是铁证，更可靠的解释是：非线性几何 + low-rank decomposition + residual suppression 共同形成了更强的 representation alignment regularizer。

residual branch 的角色也值得判断：单独 residual 弱，说明它不是主信号；它的价值在于给弱相关结构一个出口，同时通过 compression 防止它抢占优化。这和很多 multimodal alignment 中“不要过度消除 modality gap”的经验一致。RAHA 的改进更像 better inductive bias / latent structure compression，而不是 scaling、test-time compute 或 memory reuse。它不是 retrieval trick，但 evaluation 仍主要围绕 retrieval，因此对 captioning、grounding、reasoning 等更复杂 VLM 能力的迁移还没有被验证。

Relation To Prior Work

最接近的路线是 CovMatch、LoRS 和 hyperbolic VL representation。相对 CovMatch，RAHA 不是继续匹配全局二阶统计，而是把 cross-covariance 分解后选择性匹配 relevance；本质差异是从 isotropic statistics matching 到 anisotropic shared-subspace matching。相对 LoRS，RAHA 不是仅在 similarity matrix 上低秩化，而是在 representation coupling space 中显式定义 image/text 两侧的 range basis；这使它能控制 residual，而不仅是降低 similarity rank。相对 MERU/HYPE 等 hyperbolic VL work，RAHA 没有主要贡献新的 hyperbolic representation learning，而是把 hyperbolic inductive bias 移植到 dataset distillation。

看似新的部分中，hyperbolic contrastive learning、SVD low-rank、Sinkhorn set matching 都不是新思想；实质创新在于它们被组合成一个 VLDD-specific 的 alignment allocation mechanism。它属于 distribution/statistics matching 谱系，而不是 trajectory matching 或 generative distillation。真正新增的信息是：在 VLDD 中，显式区分 dominant shared range 与 residual complement 比单纯匹配整体 covariance 更能解释 transfer/robustness 的差异。

Dataset / Evaluation

评估覆盖了标准 image-text retrieval 数据集、不同 synthetic budget、cross-architecture transfer、noise robustness、prompted classification 和一个更大规模 CC3M subset；这比只报 retrieval 主表更能支撑“structured relevance 更可迁移”的 claim。尤其 cross-architecture transfer 是关键，因为它测试 synthetic set 是否只是适配源 encoder geometry。较大 budget 下 RAHA 更强，也符合它需要足够 synthetic capacity 来 materialize decomposed semantic modes 的解释。

但 evaluation 仍有明显边界。第一，主任务仍是 retrieval，不能证明对生成式 VLM、grounding、multimodal reasoning 有直接收益。第二，teacher/backbone 规模较小，和现代 CLIP-scale / SigLIP-scale / LMM pretraining 场景有距离。第三，很多 qualitative evidence 容易受初始化和可视化选择影响。第四，CovMatch reproducibility gap 被讨论了，但这也让部分比较依赖作者重跑设置。整体上，实验支持“RAHA 是一个更结构化的 VLDD objective”，但还不足以支持“hyperbolic hierarchy 是主要增益来源”的强 claim。

Limitation

RAHA 的核心前提是跨模态共享信号集中在稳定低秩子空间；如果有用信号分散在很多弱方向，residual compression 可能直接删掉 long-tail semantics。它还依赖 real batch covariance 的估计稳定性，batch 太小或数据太 noisy 时，SVD basis 可能只是 batch artifact。所谓 hierarchy 也不是免费成立：如果数据集没有明显 coarse-to-fine taxonomy，hyperbolic bias 可能变成无用甚至有害的几何扭曲。

scalability 是实际硬伤。SVD on d×d covariance 加 Sinkhorn matching 显著提高每步成本，虽然是 offline，但对于更大 embedding dimension、更大 batch 或 web-scale distillation 会成为瓶颈。文中说可以优化，但未充分说明优化后是否保持效果。增益归因也不清：hyperbolic lift、rank decomposition、OT matching、residual compression 同时引入，仍可能有未拆开的 confounder。另一个隐含风险是 bias preservation：如果有害 stereotype 位于 dominant singular directions，RAHA 会更忠实地保留下来，而不是缓解它。

Takeaway

• 最值得记住的不是“用 hyperbolic space 做 VLDD”，而是“dataset distillation 应该显式分配 alignment capacity”。
• 在多模态压缩中，全维对齐往往是错的；应该优先保存稳定共享因素，并给 modality-private / weakly-correlated residual 留出受控空间。
• 这个 insight 可迁移到其他问题：CLIP data pruning、multimodal coreset、instruction-image pair condensation、cross-modal adapter training 都可以考虑 range/residual 式 relevance compression。
• 未来真正值得做的是把这种 subspace-aware objective 扩展到更大 VLM、更真实 web data、更便宜的 approximate decomposition，以及加入 bias/fairness auditing。

一句话总结

RAHA 是 VLDD 中从 Euclidean full-space matching 向 geometry-aware、rank-aware shared-relevance compression 演化的一步，真正贡献在于显式控制跨模态对齐容量，而不只是换了一个 hyperbolic similarity。