精读笔记

Problem Setting

论文标题：Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models（arXiv preprint / 2026）。这篇论文实际问的是：当前 hyperbolic vision-language models 是否真的使用了它们声称的几何机制。困难点不在于测下游性能，而在于机制归因：retrieval、zero-shot、taxonomy correlation 这些指标都可能被 angular semantic alignment、box supervision、composition data 或 calibration 支撑，并不要求负曲率参与。以前方法卡在把“模型写在 hyperbolic space 里”误当成“模型使用了 hyperbolic hierarchy”。关键矛盾是：hyperbolic VLM 的理论叙事依赖非局部曲率、径向深度、entailment cones，但实际训练目标可能给模型一条更便宜的路——在近欧氏区间完成 alignment，同时让 cone 退化为宽约束。

Motivation

已有路线不够的核心原因是 evaluation underdetermined。taxonomy distance correlation 是对称指标，不能说明方向性层级；raw norm ordering 容易被 prompt/statistical marginals 污染；zero entailment violation 可能只是 cone saturated；leaf-level benchmark 不测试 abstraction。作者的核心观察是，curvature 本身不是几何使用的证据，因为 c 和 rho 可重标定；真正要看 sqrt(c) rho 这个 operating point。缺口因此变成：需要一套能否定 shortcut 的机制诊断，而不是再跑一组 benchmark。这个方向的动机很强，因为它直接挑战了 hyperbolic VLM 文献中最核心但最少被验证的假设：径向/锥结构是否真的承担层级表达。

Core Idea

核心思想是把“hyperbolic hierarchy”拆成一组必要条件，而不是把它当成模型属性。若模型真的利用超曲率层级，至少应满足：embedding 工作在非局部区间；general-specific 关系在 radius 上有 pair-specific ordering；cone aperture 处于有效区间而非饱和；沿径向或测地方向移动能产生可读的层级 traversal；taxonomy metric 中 norm/radius 对 angular distance 有额外解释力。

本质区别在于，prior work 多是在任务指标上验证“这个模型更像有层级”，而本文在验证“被声称的机制是否有必要参与”。这改变了建模判断方式：从 architecture/space-level claim 转向 operating-point-level claim。它引入的 inductive bias 不是新模型 bias，而是 evaluation bias correction：任何 hierarchy claim 都必须排除 angular-only、marginal norm、wide-cone shortcut、box-supervision shortcut。这个框架比单一 benchmark 更 generalizable，因为它检测的是机制逃逸路径，而不是特定任务表现。

Method

第一，operating-point diagnostic 解决 curvature 标量不可识别的问题。论文用 sqrt(c) rho 和 H(u)=sinh(u)/u 判断局部非欧性；这样可以区分“curvature 小但 radius 大仍有几何效应”和“curvature/radius 共同落在近欧氏区”。核心变化是把几何审计从参数值转为模型实际工作点。

第二，shuffle-controlled radial test 解决 raw norm ordering 的伪信号问题。只有真实 parent-child pairing 超过随机重配 null，才说明 radius 编码 pair-specific hierarchy。这个机制很必要，因为 fine prompts 全体 norm 较大并不等于每个 child 比自己的 parent 更深。

第三，cone activity diagnostic 解决 entailment violation 的误读问题。低 violation 必须和 aperture distribution、saturation、双向 containment 一起看；否则 zero violation 可能只是 cone 半径变成半空间。核心变化是把 cone 从 loss outcome 还原成几何约束是否仍有信息量。

第四，traversal diagnostic 解决静态指标无法证明 operational hierarchy 的问题。如果 representation 真有层级轴，沿该轴移动应产生单调语义变化；若只出现 hub collapse 或 generic interpolation，则层级不可操作。

第五，angular/radial decomposition 解决 taxonomy correlation 的归因问题。用 cosine-only 与 cosine-plus-norm regression 比较，判断 taxonomy signal 是否有 norm increment。这里的重点不是拟合更好，而是拆掉 angular semantics 这个最大混淆源。

Key Insight / Why It Works

最重要 insight 是：hyperbolic geometry 是否工作，取决于 operating point，而不是模型空间的名字。MERU/HyCoCLIP/PHyCLIP 都可以有 hyperbolic parameterization，但如果 sqrt(c) rho 只有 0.2–0.3，局部失真 H(u) 近乎 1，那么大部分计算等价于在欧氏/角向空间里做 alignment。这个判断比“curvature collapsed”更强，因为它说明不是单独 c 小，而是有效几何整体没有进入非线性区。

第二个关键 insight 是 entailment objective 本身鼓励 shortcut。cone aperture 随 1/(sqrt(c) rho) 增大，降低 curvature 可以直接放宽 cone 并减少 violation，不需要学习 order。于是所谓 hierarchy loss 反而提供了 collapse accelerator。这个解释比“优化没训好”更有杀伤力：loss 的最便宜解就是低曲率宽锥，而不是径向层级。

第三，很多正结果其实是 angular organization 或 supervision effect。taxonomy correlation 由 cosine distance 支撑；coarse retrieval gain 更像 box/compositional supervision 带来的语义覆盖，而不是 curvature；native box-caption 有 directed residual，但太小且不可 traversal。我的判断是，这篇论文最核心贡献不是提出五个指标，而是把“hyperbolic VLM 的层级收益”重新归因为 alignment/data/supervision，而非几何机制。

哪些可能只是辅助？大量 per-seed 表格、完整 benchmark sweep 是为了堵住反驳，不是核心。真正 load-bearing 的是 operating point、aperture identity、shuffle/null controls、gradient attribution。哪些可能是 engineering/scaling？current-GRIT 大规模重训主要用于控制干预和稳健性；它支撑结论，但论文的洞见并不来自 scaling 本身。

Relation To Prior Work

这篇最接近 MERU、HyCoCLIP、PHyCLIP 这条 hyperbolic VLM 谱系，也和 EuCLIP、ARGENT 形成直接对话。MERU 等 prior 的本质 claim 是：负曲率空间、径向坐标和 entailment cones 能自然承载视觉-语言层级。本文的不同点是反过来审计这些机制是否真的出现，而不是提出一个更强模型。

和 EuCLIP 相比，EuCLIP 观察到 curvature collapse；本文进一步解释 collapse 为什么发生，并指出 curvature collapse 不是唯一问题，operating point 和 cone/traversal 也没有激活。和 ARGENT 相比，两者都看到 cone aperture degeneracy；ARGENT提出修复方法，本文提供的是诊断框架和机制归因。ARGENT 主要修 parent norm / adaptive entailment coupling，本文强调 curvature factor 也能制造同一退化。

看似新的部分中，shuffle null、norm/cosine decomposition、traversal sanity check 都不是全新统计思想，但组合到 hyperbolic VLM mechanism audit 上是实质创新。真正新增的信息是：已有 hyperbolic VLM 的正向层级证据大多不能识别 radial/cone mechanism；并且 entailment loss 存在低曲率宽锥 shortcut，使模型天然倾向近欧氏解。

Dataset / Evaluation

evaluation 覆盖了 released checkpoints 和 current-GRIT controlled interventions，这一点设计得比较谨慎。released checkpoint 用来回答“公开模型作为 artifact 是否有机制”；current-GRIT 用来做因果干预，因为原始 GRIT URL 数据不可复现。这个分离是合理的，否则很容易把数据差异误当成方法差异。

benchmark 上，论文没有把 COCO/Flickr/ImageNet/SugarCrepe/WordNet 当成最终证据，而是当成 decoupling probes：如果 curvature collapse 后下游不坏，说明这些指标不需要 active hyperbolic geometry。真正支持核心 claim 的不是大量 benchmark 数字，而是几何诊断、shuffle-controlled hierarchy test、cone saturation、traversal failure 和 gradient probe。

限制也明显：current-GRIT snapshot 与原始训练分布不同，released checkpoints 不能直接 intervention；某些 ViT-S/threshold 实验是单 seed；PHyCLIP gradient 没有像 MERU/HyCoCLIP 那样完整分解。整体上 evaluation 足以支持“未检测到机制”这个负结论，但不足以证明所有未来 hyperbolic VLM 都会失败。

Limitation

这篇论文成立依赖一个前提：当前 hyperbolic VLM 的层级 claim 主要是 radial/cone-based。如果某个模型用完全不同的 hyperbolic operator 或非径向层级编码，本文诊断可能不是充分测试。换句话说，它否定的是 advertised mechanism，不是否定所有 hierarchy representation。

scalability 上限方面，审计发现模型会收缩到近欧氏 operating point，但为什么 contrastive/alignment objective 不稳定高曲率，仍没有完全理论闭合。entailment-off 中 norm contraction 受 weight decay / temperature 影响，文中也承认未充分隔离；因此“contrastive alone 也导致低曲率”的机制归因比 entailment shortcut 弱。

native GRIT box-caption residual 的解释仍不干净。它可能来自 within-sample visual specificity、caption statistics、box supervision 或 modality/norm bias，而不是真正的抽象层级。文中通过 cosine control 和 traversal 说明它 non-operative，但 residual 的来源不清。

另一个边界是，必要条件诊断会漏掉某些可用但非单调、非径向、非 cone 的层级结构。本文会说这不是目标；但从 broader VLM hierarchy 角度看，这意味着结论不能外推到“模型没有任何层级信息”。它更准确地说：这些模型没有用它们声称的 hyperbolic radial/cone 机制。

Takeaway

• 第一，以后 hyperbolic representation 论文不能再只报 curvature 或 taxonomy correlation；必须报 operating point、cone saturation、directed null controls 和 radial-vs-angular decomposition。
• 第二，层级-looking metric 很容易被 angular semantic organization 支撑。
• 对 VLM 来说，大量所谓 hierarchy gain 可能只是 better alignment / data coverage / compositional supervision，而非几何 bias。
• 第三，entailment cone objective 需要重新设计。

一句话总结

这篇论文是 hyperbolic VLM 方向的一次机制审计：它表明现有模型的层级收益大多不能归因于负曲率径向/锥机制，而应被视为 near-Euclidean alignment 与监督信号下的 geometry-claim falsification。