精读笔记

Problem Setting

GeoT2V-Bench: Benchmarking 3D Consistency in Text-to-Video Models via 3D Reconstruction（arXiv preprint / 2026）。这篇论文实际处理的是 camera-prompted T2V 的 acquisition-level validity：生成视频是否能作为静态世界的多视角观测，而不是是否“看起来像一个视频”。真正困难点在于，T2V 模型可以用很多非 3D 的方式满足相机提示：几乎静止、2D zoom、纹理重绘、局部运动伪装视差、或用时间变化掩盖几何不一致。以前的视频 benchmark 主要测 perceptual / temporal / semantic 质量，GeCo 这类几何指标测局部刚性与重投影一致性，但仍不能回答整段 clip 是否支撑一条全局相机轨迹和一个静态 3D 表示。关键矛盾是：越真实的 acquisition 往往越需要足够运动和遮挡变化，但这些也正是 reconstruction backend 最脆弱的地方；因此 naive reconstruction score 会把“模型失败”和“评测器失败”混在一起。

Motivation

作者的动机不是再造一个 video quality leaderboard，而是指出 camera language 已经让 T2V 输出进入了“虚拟相机采集”的使用场景；在这个场景里，帧级美观和短程平滑都不够。已有路线缺的是 global static explainability：一个 clip 可以局部 flow/depth 合理，但整体仍然无法形成稳定相机轨迹；也可以 LPIPS 很低，但只是因为视频没动。核心观察是失败模式必须被拆开看：有没有 acquisition evidence、相机轨迹是否非退化、静态场景能否解释帧、静态 render 是否解释运动、flexible 表示是否显著优于 static 表示。论文因此把评测从“单一质量分数”改成“重建诊断 profile”。

Core Idea

核心想法是把生成视频送入一个近似真实 3D reconstruction stack，并观察它在哪里崩，而不是直接给视频打分。它先用 VGGT 估计相机和内参，把视频转成一个候选多视角采集；然后不是直接强行 static 3DGS，而是先用 DeformableGS 作为过灵活的上界拟合器，允许时变形变吸收生成视频的不一致；最后通过时间中位数聚合得到 MedianGS 静态代理，并在同一组相机下渲染比较。

这个设计改变了建模方式：视频不再是时间序列样本，而是被视为观测同一 latent 3D scene 的证据。它引入的 inductive bias 是“静态场景应当是 deformable fit 的时间稳定成分”；same-camera comparison 则避免把相机差异、初始化差异和静态/动态表示差异混在一起。和 prior 的本质区别在于，GeCo/MEt3R-style 方法主要看局部或 pairwise consistency，而这里关心的是整段视频是否能通过一个 explicit rigid reconstruction 被解释。

Method

方法只需抓住几个机制。第一，active acquisition evidence：先用 apparent optical flow 和平滑后的 VGGT 轨迹 turn 判断视频是否真的提供相机采集证据；这一步解决低运动视频被低重建误差奖励的问题，核心变化是把 under-acquisition 作为独立失败模式，而不是让它混入 reconstruction score。

第二，same-camera reconstruction：VGGT 估计每帧 intrinsics/poses，后续 DeformableGS 和 MedianGS 都使用同一组相机；这一步解决评测坐标系不一致问题，使 residual 可以解释为“在同一相机假设下 static/flexible 表示的差异”。

第三，DeformableGS 作为 flexible fit：它不是为了提出新重建算法，而是作为可吸收时变不一致的诊断上界；如果它都拟合不好，说明视频或相机假设对 backend 很难。如果它拟合好但 MedianGS 差，说明 clip 更像需要非静态解释。

第四，MedianGS 静态代理：用时间中位数把 deformable offsets collapse 成静态 Gaussian；这一步的机制价值在于把“稳定成分”提取出来，而不是从零训练一个脆弱 static 3DGS。第五，CEMR 比较原视频 optical flow 和 MedianGS render flow；它解决 LPIPS 只看帧外观、不看运动解释的问题。

Key Insight / Why It Works

最重要的 insight 是：对生成视频的 3D consistency 评测不能只问“能不能重建”，而要问“它是以什么代价被重建的”。DeformableGS 提供一个 flexible explanation，MedianGS 提供一个 static explanation，两者差值比单独 static error 更有诊断意义。这个 static-vs-flexible contrast 是论文最核心贡献。

方法有效主要来自 better inductive bias 和 representation alignment，而不是 scaling。它把 T2V 输出对齐到 reconstruction representation，使 failure modes 在 3D pipeline 中显式暴露。active gate 也是关键，因为否则 benchmark 会系统性偏好懒惰模型：不动的视频最容易被 static proxy 拟合。CEMR 则补上了 motion explanation 维度，避免低 LPIPS 掩盖“rendered static scene 的运动和原视频运动完全不同”。

可能只是辅助的部分包括具体阈值、具体 flow backend、Median vs Mean aggregation 的选择；论文的 sanity check 显示它们影响排序有限，但这些更像 engineering stabilization。真正有迁移价值的是 staged diagnosis：先确认 evidence，再估计 camera，再比较 flexible/static explanation，再检查 rendered motion 是否解释 observed motion。

需要直接指出的是，这不是一个无偏物理评测。它本质上是 test-time compute heavy 的 reconstruction probe，评测结论被 VGGT、DeformableGS、LPIPS/RAFT 的能力边界塑形。所谓 3D consistency 在这里等价于“在这套后端下能形成可解释的静态 Gaussian proxy”，不是 ground-truth 3D 一致性。

Relation To Prior Work

最接近的是 GeCo、MEt3R、WorldScore、DynamicEval 以及用 3DGS 检查生成视频几何的工作。GeCo 的本质是局部几何/occlusion consistency，能指出局部 deformation 和重投影问题；GeoT2V-Bench 的本质是 full-clip reconstruction explainability，关心整段视频是否能支撑同一相机路径和静态 3D 表示。二者不是替代关系，论文实验也显示 GeCo 与 CEMR 的关系很弱。

和一般 T2V benchmark 的差异更大：VBench/EvalCrafter/T2V-CompBench 测的是生成质量、对齐、组合性或 temporal smoothness，它们默认视频是最终产物；GeoT2V-Bench 把视频当作下游 3D reconstruction 的输入证据。和 camera-control video generation 工作相比，它不是训练控制器，而是审计任意 camera-prompted 输出。

看似新的部分如 deformable-to-static collapse，其实重组了已有 DeformableGS/3DGS/VGGT 思想；实质创新在于评测范式和对照结构，而不是某个重建模块。它属于 geometry-conditioned diagnostic benchmark 谱系，往 video-as-world-acquisition 的方向推进。

Dataset / Evaluation

评测覆盖 80 个 GeCo-Eval 静态场景相机提示、多个 open-weight T2V 配置和多 seed，场景包括 object-centric、indoor、outdoor、appearance stress。这个范围足以验证论文核心 claim：不同模型的 active evidence、static render error、CEMR、static-flex gap 会明显分裂，因此单一分数误导。

ControlBench 是这篇论文比较重要的可信度补丁：用真实静态采集和冻结、zoom、warp、texture repaint、foreground deformation 等控制变体检查指标语义。这比只在生成视频上报表格更有说服力，因为它能说明某些指标对已知扰动的响应方向是合理的。

但 evaluation 仍不是 ground-truth 3D benchmark。真实世界覆盖主要是 metric stress test，而主 benchmark 仍是生成模型输出和固定 prompt distribution。fair-format 统一到低分辨率短 clip 有利于可比性，但会改变 motion/texture/aliasing 条件。backend sanity checks 说明结果不是完全偶然，但没有消除 backend-conditioned bias。总体上，实验支持“需要 reconstruction profile”，但不支持把该 profile 当成绝对模型排名。

Limitation

核心前提是 VGGT 能从生成视频中给出足够有意义的相机假设；如果相机估计错了，后续 MedianGS/CEMR 的解释都会被污染。论文承认 backend-conditioned，但这也是方法上限：它把 T2V 的 3D consistency 问题部分转移成了 feed-forward geometry 与 Gaussian reconstruction 的鲁棒性问题。

MedianGS 的静态代理假设“时间稳定成分≈静态场景”，这在 view-dependent material、反射、透明、复杂遮挡、真实曝光变化下并不严格。高 static error 不能直接判为生成模型几何失败；它也可能是 reconstruction backend 对困难真实 acquisition 的失败。反过来，低 error 也不代表强 3D，只可能是运动不足或场景简单。

CEMR 的上限也明显：只采样少数相邻帧、依赖 optical flow backend、用平均 residual 压缩空间结构，因此可能漏掉局部长程漂移或方向性错误。deformation energy 只看 position offset，也不能完整表达非刚性解释。

泛化方面，主 prompt 来自 GeCo-Eval，适合 controlled static-scene camera motion，但不代表开放世界视频生成部署。benchmark overlap 或模型对类似 camera prompt 的训练覆盖可能影响表现；文中未充分说明这种 prompt/data overlap 风险。该工作更像 diagnostic instrument，而不是最终 evaluation standard。

Takeaway

• 1. 以后评价 camera-prompted T2V，不能再只看视频质量或局部几何；必须评估它是否能作为 3D acquisition evidence。
• 2. 最值得迁移的设计是 staged profile：先过滤 under-acquisition，再做 same-camera static/flexible 对照，再检查 rendered motion 是否解释 observed motion。
• 3. Deformable-to-static contrast 是一个通用诊断范式：在很多生成任务里，可以用 flexible representation 找到可解释上界，再用 constrained representation 测真正结构一致性。
• 4. 未来真正值得做的是把 backend-conditioned diagnostic 推向 backend-ensemble 或 uncertainty-aware evaluation，而不是继续堆单一 scalar leaderboard。

一句话总结

GeoT2V-Bench 是把 camera-prompted T2V 从“视频质量评测”推进到“可重建 3D 采集证据评测”的诊断型 benchmark，真正贡献是 same-camera static-vs-flexible reconstruction profile，而不是新的重建算法。