精读笔记

Problem Setting

《RayTun3R: Online Camera Adaptation in 3D Foundation Models》（arXiv preprint / 2026）实际处理的是 frozen pinhole 3D foundation model 到 fisheye camera 的在线适配问题。关键矛盾是：这些模型已经具备很强的 depth/pose prior，但这些 prior 和 pinhole camera geometry 深度绑定；fisheye 输入并不是简单的图像畸变，而是同一 token grid location 对应了不同的 viewing ray 语义。以前的 projection/crop 方法通过把输入变回 pinhole distribution 来绕开问题，但带来多视角推理、覆盖不完整和融合问题；PEFT 方法虽然参数少，但修改的是 generic feature transformation，没有定位到 camera-induced positional mismatch。真正难点在于既要保留 pretrained 3D prior，又要只改 camera geometry 相关的表示层，而不能让小规模在线优化退化成 sequence memorization。

Motivation

作者最有价值的观察是：pretrained positional embedding 本身带有 pinhole bias。通过看 PE 的局部 Jacobian，DA3 的 absolute PE 在半径方向上近似平坦，类似 pinhole 相机中像素位移到 ray change 的恒定关系；而 fisheye 的 inverse projection Jacobian 随半径变化。因此模型在 fisheye 上失败，不只是 backbone 没见过 fisheye texture，而是 token position 的几何含义从输入端就错了。这个观察自然指向一个缺口：如果相机变化主要体现为 position-to-ray mapping 的变化，那么 adaptation 应该作用在 positional representation，而不是大范围改 attention/MLP。换句话说，缺的不是更通用的 PEFT，而是 camera-geometry-aware 的低维表示对齐。

Core Idea

RayTun3R 的核心思想是把 fisheye adaptation 重写成 frozen model 的坐标系修正：不让网络重新学如何从图像推 3D，而是修正 token 位置在模型内部对应的 ray geometry。它用小容量、平滑、围绕 principal point 的 radial/angular residual 来改 positional encoding，使 pretrained pinhole PE 被弯曲成更符合 fisheye 的几何结构。

这和 LoRA/CalTok 的本质区别在于自由度放置位置。LoRA 改 QKV，本质上允许模型以任意 feature-space 方式适配，表达力更强但归因更混；CalTok 用额外 token 注入 calibration-like 信息，但仍然是通过 attention feature routing 间接影响几何。RayTun3R 则直接改变位置编码和预测坐标，等于给 foundation model 一个新的 camera-conditioned spatial prior。这个 inductive bias 更窄，所以更可能用少量在线数据学到 camera 而不是 scene，也更 scalable 到不同 frozen backbones。

Method

方法层面应只看几个机制。第一，absolute PE residual 解决 pinhole PE Jacobian 与 fisheye ray Jacobian 不匹配的问题；径向项捕获主要畸变，角向项吸收有限分辨率、非理想对称和真实镜头残差，核心变化是让 token embedding 的局部变化随图像位置改变。第二，RoPE correction 处理使用 rotary position 的 backbone 中 relative offset 的几何错配，但从结果看它不是主导项，更多是补齐另一条 positional channel。第三，prediction-grid correction 和 patch local undistortion 处理 dense head 与 patch embedding 阶段遗留的 pinhole 坐标假设，作用是减少输入/输出坐标系不一致，而不是提供主要能力。第四，训练目标用 UFM correspondence、MAGSAC relative pose pseudo-label 和 reprojection consistency 来约束 adapter；这里的本质是用外部几何信号优化低维 camera adapter，而不是做 photometric self-supervision 或全模型 test-time training。

Key Insight / Why It Works

最重要的 insight 是：对于 pinhole-trained 3D foundation model，camera shift 的主要破坏点不是语义特征，而是 positional representation 与 ray geometry 的错位。RayTun3R 有效大概率来自更好的 inductive bias 和 representation alignment，而不是 scaling、更多参数或更强 test-time compute。它把优化空间压缩到“平滑相机几何变形”，这使得短序列几何 loss 足以驱动适配，并减少过拟合 scene appearance 的机会。

核心贡献最可能是 absolute PE residual，而不是完整系统里的所有工程组件。Ablation 显示 learned PE/RoPE residual 贡献最大，parameter-free corrections 单独很弱，有时还会退化；RoPE-only 也不够。这说明 foundation model 的 absolute positional table 是 pinhole camera prior 的主要承载体。naive remap PE 失败也很关键：直接按 undistorted coordinate 查表会造成位置分辨率坍缩，说明 pretrained PE 不是可任意几何重采样的连续 ray encoding，而是一种在训练分布上形成的 learned spatial code，需要 residual adaptation 而不是硬几何变换。

需要直接指出的是，RayTun3R 的一部分效果来自 test-time optimization 加外部 correspondence/motion geometry，而不是纯 feed-forward generalization。它在线拟合的是 camera/sequence adapter，UFM 和 MAGSAC 实际提供了隐藏的几何监督信号。论文把这定位为 self-supervised online adaptation 是合理的，但不应理解成模型自己从单帧中推断 fisheye calibration。若 UFM 在目标域失败，或运动退化，RayTun3R 的优势很可能显著下降。

Relation To Prior Work

它最接近三条路线：projection-based reuse of pinhole models、fisheye/camera-aware positional encoding、以及 PEFT/test-time adaptation。相对 projection 方法，RayTun3R 不把 fisheye 拆成多个 pinhole view，而是让 frozen model 的内部位置表示适配 fisheye ray geometry；这避免了多视角推理和融合，但要求 calibration 与在线优化。相对 LoRA/adapter/CalTok，它的新信息不是“参数更少”，而是明确把可学习自由度绑定到 camera-dependent positional channel。相对 PRoPE、FishRoPE、distortion-aware Transformer 等 camera-aware architecture，它不是重新训练 camera-aware model，而是在已训练 pinhole foundation model 上做后验几何对齐。

看似新的地方有一部分是已有思想的重组：径向畸变建模、position encoding correction、test-time geometry loss 都不是新概念。实质创新在于把 PE Jacobian 作为 pinhole bias 的诊断工具，并据此把 online adaptation 的参数化极端收窄到 positional residual。这属于“foundation model 后训练时代的几何适配”谱系：不再试图重训通用模型，而是识别 pretrained model 中哪个 representation subspace 承载 domain-specific bias，然后只对齐那部分。

Dataset / Evaluation

评估覆盖了多个真实 fisheye 数据源、不同 FOV、不同 frozen backbones，并且同时看 pose 和 depth，这基本能支撑“该机制不是 DA3-Small 特例”的 claim。尤其是 DA3、π3、VGGT 上都有效，说明 positional bias 可能是这一类 ViT-based 3D foundation model 的共性，而非单模型 bug。真实世界数据和真机 fisheye 是加分点，比合成畸变更有说服力。

但 evaluation 仍然主要验证的是同一 camera/sequence 上短段适配后的后续泛化，不是跨 camera zero-shot 泛化。benchmark 对 motion 和 correspondence 质量有隐含筛选：他们过滤低 optical-flow window，训练依赖 UFM matches 和 MAGSAC pose，因此评估更像“有足够几何约束时能否快速校准 adapter”。Dense depth 上 Center-PH 仍然很强，说明 RayTun3R 的主要优势在 full-FOV pose consistency 和效率，而不是所有 depth 指标无条件更优。文中未充分说明动态场景、弱纹理、强非径向畸变、错误 calibration 下的 failure distribution。

Limitation

最根本限制是 camera-specific adaptation：换镜头、换 distortion profile 需要重新拟合，这不是一次训练后通吃的 camera-general model。第二，它假设 central camera、principal point 可用、畸变以径向为主；强 tangential distortion、非中心折反射、rolling shutter、多相机拼接边界等情况不在建模范围内。第三，在线训练需要足够 inter-frame motion 和可靠 dense correspondence；小运动、纯旋转、重复纹理、动态物体会削弱 reprojection constraint，使深度/平移方向出现不可观测或病态。

增益归因也有边界：虽然论文强调 PE bias，但系统依赖 UFM/MAGSAC 外部几何信号，可能把一部分难题转移给 matcher 和 robust estimation。所谓泛化主要是 temporal transfer within sequence，不应夸大为跨域泛化。另一个上限是，如果未来 foundation model 在 camera-aware/ray-space data 上预训练，pinhole PE bias 可能被结构性消除，RayTun3R 这类后验 PE correction 的价值会下降，更多变成 legacy backbone adapter。

Takeaway

• 第一，3D foundation model 的 camera bias 可以具体定位到 positional representation，而不是笼统归因于 domain shift；这提供了一种分析 pretrained geometry model 的有效切口。
• 第二，针对物理成因明确的 domain shift，低维、结构化 adapter 往往比通用 PEFT 更可靠，因为它把优化限制在正确因果变量上。
• 第三，future camera-general 3D models 很可能应该原生使用 ray-aware / camera-conditioned positional encoding，而不是事后用 pinhole PE 再修正。
• 第四，RayTun3R 的可迁移 insight 是：先找出 foundation model 中承载错误物理先验的 representation subspace，再做 test-time representation alignment，而不是盲目加 LoRA。

一句话总结

RayTun3R 是一篇把 fisheye 适配从通用 PEFT 转向 camera-geometry-specific positional representation alignment 的工作，真正贡献在于识别并修正 frozen 3D foundation model 的 pinhole PE bias，而不是提出一个更大的 fisheye 模型。