精读笔记

Problem Setting

这篇论文真正解决的是 robot-mounted camera rotation 下单视图 mesh reconstruction 的跨视角一致性，而不是单帧重建精度。关键矛盾是：机器人需要稳定的 camera-space object layout 来做碰撞、规划和 real-to-sim，但当前单视图模型通常是在强视角先验下 feed-forward 预测 pose/scale/layout；图像看起来仍合理时，3D layout 可能已经不再物理一致。以前方法卡在两个层面：一是评测没有把相机旋转隔离出来，导致不知道 failure 来自 occlusion、viewpoint 还是模型本身；二是 reconstruction pipeline 把 MDE、shape、pose、scale 混在一起，最终错误很难归因。

Motivation

已有路线不够的地方在于，它们默认单视图输出可以作为机器人空间推理 primitive，但没有验证机器人相机最常见的姿态变化。作者的核心观察是：canonical mesh 和 camera-space layout 的稳定性不是一回事；一个模型可以稳定地生成“像那个物体”的形状，同时在相机坐标系里把它放错、转错、缩放错。论文因此不是在追求更高重建质量，而是在追问当前 foundation-style 3D pipeline 是否拥有相机旋转下的几何一致性。缺口是一个 controlled rotation protocol，以及一个能沿 pipeline 分解误差来源的评估框架。

Core Idea

核心思想是把 camera rotation 当作单视图重建的 OOD stress test，并把 pipeline 拆成可诊断的几何链条。通过纯旋转 homography 从宽 FOV ADT 图像中裁出固定目标视图，作者尽量保持 intrinsics、FOV、对象可见性一致，只改变相机姿态；这样如果输出 layout 变了，就更可能是模型对相机旋转不等变，而不是观测内容真的变了。

GAR 的思想更像一个最小干预实验：既然 canonical mesh 在旋转下相对稳定，而 layout orientation 不稳，那么不要重做整个重建，只给 orientation 加一个 gravity reference。它引入的 inductive bias 是“man-made object 的 canonical upright 应与场景重力一致”，本质上把 learned view prior 替换成显式世界参考系。和 prior 最大差异不是模块新，而是信息流被重新组织：相机旋转不再完全由图像分布隐式解释，而是由已知/估计的 gravity cue 提供外部几何锚点。

Method

第一，controlled rotation protocol 解决评测不可归因的问题。它用 optical-center pure rotation 生成 roll/pitch/yaw sweeps，并过滤共享 FOV 内未截断的实例，使 evaluation 更接近“同一场景只换相机朝向”的反事实测试。

第二，pipeline decomposition 解决错误来源不可分的问题。one-stage 使用 SAM3D 自己的 layout branch；two-stage 保留 SAM3D canonical mesh，但用 FoundationPose 做 camera-space pose registration。这个对照的意义在于判断 rotation sensitivity 是 shape 预测导致，还是 layout estimation 导致。

第三，SC-nIoD、canonical ICP rotation、layout ICP-C、scale drift、PenRate 共同形成多层指标。它们不是为了凑 benchmark，而是避免把 depth distortion、canonical shape stability、pose drift 和物理穿透混成一个不可解释分数。

第四，GAR 只优化 rotation，不动 translation 和 scale。这个限制很重要：它使 GAR 成为对“orientation 是否缺 gravity bias”的检验，而不是一个全量 pose optimizer。它能改善 orientation，但不能指望修复完整 layout。

Key Insight / Why It Works

最重要的 insight 是：单视图 mesh reconstruction 的 robustness bottleneck 不一定在 shape，而在把 shape 放回 camera frame 的 layout step。canonical mesh 稳定说明模型确实学到了一些 object-centric prior；layout 漂移说明这些 prior 没有和相机姿态、重力方向形成稳定绑定。换句话说，模型会“认出物体”，但不会在 rotated robot camera 下稳定地“定位物体”。

GAR 有效的原因不是优化技巧强，而是它补上了缺失的全局参考系。对于桌面/室内人造物体，upright direction 是强结构先验；当相机 roll/pitch 改变时，如果模型没有显式 gravity conditioning，就容易把 image-plane orientation 当成 object pose cue。GAR 把这种隐式 cue 改成显式 gravity alignment，因此能显著降低 one-stage orientation error。

two-stage pipeline 更稳，本质上可能来自 test-time compute 和 representation alignment：FoundationPose 把已知 mesh 对齐到 RGB-D observation，相比一次性 feed-forward layout head，它更直接使用局部几何注册信号。这不是说明单视图重建模型本身 generalize 了，而是说明把 shape generation 与 pose registration 解耦，比让一个网络同时猜 shape+layout 更抗 rotation shift。

哪些部分可能只是辅助：外部 baseline 排名分散、PenRate 与 orientation/translation 不一致，说明没有一个方法真正解决了 rotation robustness。GAR 对 two-stage 反而恶化，说明 gravity prior 不是 universally beneficial；它只在 layout branch 缺少稳定 upright anchor 时有效。这里最实质的贡献是 evaluation + failure attribution，而不是 GAR 作为方法本身。

Relation To Prior Work

这篇论文最接近三条线：SAM3D/SceneGen/MIDI/DepR 这类 single-view scene reconstruction，FoundationPose/pose refinement 这类 known-mesh registration，以及 MDE robustness / camera-pose bias evaluation。它的不同点不是提出新的 reconstruction backbone，而是把 robot camera rotation 作为一阶变量来评测，并追踪误差如何穿过 MDE、mesh、layout 和 physics。

和物理约束类工作如 PhysPose、Picasso 相比，GAR 看似也是 constraint-based refinement，但它更窄：只用 gravity 修 orientation，不做全局 non-penetration 或 scene-level physical optimization。因此它不是一个完整物理推理器，而是一个针对 rotation-induced orientation drift 的 inductive bias probe。

和 3DRot 或 depth robustness 工作相比，本文把 rotation augmentation / perturbation 从单个感知任务推进到 object-level mesh reconstruction pipeline。实质创新在评测建模和诊断粒度：它把“视角鲁棒性差”具体化为 canonical shape 稳、camera layout 不稳、MDE-to-layout channel-specific coupling。

Dataset / Evaluation

ADT 的优势是宽 FOV egocentric 数据允许生成固定 FOV 的纯旋转裁剪，并且有足够场景/对象支持 object-level paired evaluation。Franka wrist-camera sequence 提供真实机器人证据，说明 failure 不是完全由合成 homography 造成。整体评测比较好地支持核心 claim：当前单视图 mesh reconstruction 在 robot camera rotation 下存在系统性 layout inconsistency。

但 evaluation 仍有明显边界。它主要验证 axis-wise pure rotations，而真实机器人相机运动通常伴随 translation、视差、遮挡变化、手眼标定误差、深度噪声和动态物体。visibility filtering 让归因更干净，但也让问题变得比真实 deployment 更理想。GAR 使用 GT gravity，使其评估更像 upper-bound 或 oracle study；如果换成单图 gravity estimator，增益可能下降。外部 baseline 的结果支持“robustness 是多维的”，但不够支撑广泛方法排名。

Limitation

这篇论文的主要限制不是缺更多数字，而是方法成立依赖强前提。GAR 假设 canonical Z 轴可解释为 upright，且对象处于重力一致的正常摆放状态；对倾倒物体、被机器人抓取物、非桌面物体、对称物体或类别 canonical frame 不稳定的模型，这个假设会破。

泛化也没有被完全证明。论文证明的是 controlled rotation 会造成 failure，以及 gravity bias 能缓解一部分 orientation drift；它没有证明模型学到了 rotation-equivariant reconstruction。two-stage 的优势可能主要来自 registration-style test-time compute 和深度输入，而不是更好的 learned generalization。

增益归因仍不完全清晰。MDE distortion 与 layout error 的相关性有统计支持，但 channel-specific correlation 不是因果证明。MDE、mask quality、scale estimate、layout head prior、FoundationPose registration basin 都可能共同影响结果。文中未充分说明这些因素的相对贡献。

最后，物理 plausibility 没有被系统解决。PenRate 与 layout consistency 不同向变化，说明减少 orientation drift 不等价于产生可用于规划的 scene graph。GAR 可能只是把“缺少世界参考系”的问题部分转移给 gravity oracle，而不是解决完整 scene consistency。

Takeaway

• 1. 单视图 mesh reconstruction 在机器人里最脆弱的环节可能不是 object shape，而是 camera-space layout；以后评测不能只看 shape quality。
• 2. Rotation robustness 需要显式参考系。
• gravity、camera pose、IMU、calibration 这类机器人天然可得信息，不应被当作后处理 optional cue，而应进入模型条件或表示设计。
• 3. 解耦 shape generation 与 pose registration 是一个更可靠的工程路线。

一句话总结

这篇论文在单视图 3D 重建方向里的位置是一个面向机器人相机旋转的诊断型工作：它证明当前 foundation-style 单视图 mesh pipeline 的主要泛化缺口在 camera-space layout 而非 canonical shape，并用 gravity bias 展示了显式世界参考系对机器人重建的重要性。