精读笔记

Problem Setting

ProxyUp 实际解决的是一种介于可控生成、视频编辑和 sim-to-real dynamic transfer 之间的任务：输入不是目标视频，而是一个只提供动态结构的 proxy video；输出也不是对 proxy 的改写，而是一个由 prompt 指定的新场景。真正困难点在于 proxy 中有用的是时序几何、接触节奏、轨迹和局部形变，而无用甚至有害的是外观、材质、背景和低保真渲染痕迹。以前方法卡在目标不匹配：editing 倾向保留输入外观，inpainting 倾向补洞而不是重构互动世界，motion transfer 倾向一对一复制可见运动，text-to-video 又缺少精确动态约束。这个任务的关键矛盾是：动态越保真，latent 越接近 proxy；内容越自由，动态越容易被预训练模型自己的 prior 覆盖。

Motivation

已有路线不够的原因不是缺少条件形式，而是缺少一种把“动态”从“样本身份”中解耦出来的接口。文本 prompt 对物理过程的表达带宽太低，尤其是多次接触、软体形变、遮挡下交互、力作用点这类细节；显式训练 proxy-conditioned 模型又需要难以构造的 paired proxy-target 数据。作者的核心观察是：proxy video 本身已经包含文本难以表达的时序约束，但不能被当作普通参考视频使用，否则会把外观和布局也带进去。因此关键缺口是一个 training-free 的中间机制：既能利用预训练视频模型已有的生成 prior，又能在采样初始条件里注入局部动态约束。

Core Idea

论文真正的核心思想是把 controllable dynamics 从“学习一个新条件模型”改写成“构造一个带局部动态锚点的中间噪声态”。proxy 前景区域的 inverted latent 被视为运动 carrier，背景和待再生成区域则被重置为随机噪声，让模型在后续生成中重新合成环境、材质和语义对象。这样信息流被重新组织：proxy 不再通过 cross-attention、ControlNet 或显式 motion representation 输入模型，而是直接改变生成轨迹的初态。

这个思路理论上可能有效，是因为视频生成模型的中间 latent 同时包含粗结构、运动布局和一定语义可塑性；在合适 noise level 上，保留局部 latent 可以约束时序轨迹，而噪声化其他区域可以释放 prompt-driven generation。和 prior 的本质区别在于，它不是复制 motion field，也不是编辑 visible pixels，而是用局部 latent initialization 给预训练 flow model 一个“带动态边界条件的生成问题”。这比训练式条件控制更 scalable，因为不需要 paired 数据；也比纯 motion transfer 更 generalizable，因为缺失的背景交互可以由生成 prior 补全。

Method

方法层面只需要抓住三个机制。第一，region-wise latent noising 解决的是 proxy 外观泄漏问题：如果直接反演整个 proxy，模型会沿着 proxy 的外观和背景继续生成；只保留 masked foreground latent，相当于把控制信号限制在 motion-critical 区域。第二，背景噪声不是任意替换，而是匹配中间时间步的边缘噪声尺度；这保证拼接后的 latent 至少在局部统计上接近采样过程需要的状态，但它仍然不是模型训练时见过的联合分布。第三，SFR 解决的是这个联合分布错配：通过反复一阶估计 clean latent 再重新加噪，让模型用自己的 denoising prior 重建前景-背景关系，缓解边界断裂、交互不自然和内容贫乏。最终 ODE sampling 本身不是创新点，它只是把已经 relaxation 过的 latent 解码成视频。

Key Insight / Why It Works

最重要的 insight 是：复杂动态控制不一定要显式建模物理，也不一定要训练控制网络；在强视频生成模型中，中间 latent 已经是一个足够强的动态-语义混合表征，只要在正确噪声层级上局部保留它，就能获得某种 trajectory anchoring。ProxyUp 的有效性主要来自 better inductive bias 和 test-time compute，而不是新数据或新模型能力。RLN 提供了结构性归纳偏置：前景 latent 负责运动，背景噪声负责再生成；SFR 则用额外采样计算把这种人为分解重新投影回模型 prior。

我认为最核心的贡献是 SFR，而不是 region-wise noising 本身。局部 latent 拼接是直觉上直接的，但如果没有 SFR，它很容易变成 OOD latent composition，导致边界、交互和纹理崩坏。SFR 的实质更像 test-time manifold projection / prior completion：它不保证物理正确，只是让预训练模型在固定 noise level 上反复“解释”这个混合状态。论文中的 Proposition 给的是理想化收敛叙事，依赖 well-trained velocity、stationary distribution 和 posterior expectation 等强假设；实际作用更应理解为经验上的 stochastic regularization，而不是严格的物理或因果保证。

增益不应被解读为模型获得了真正 dynamics reasoning。更合理的归因是：proxy 提供了轨迹和接触节奏，Wan2.2 提供了视觉和常见交互 prior，SFR 提供了额外 test-time compute 来调和两者。对于训练数据中常见的 cutting、pulling、deforming 等模式，这种 prior completion 会显得像理解了物理；但遇到 Newton's cradle 或异常 force point 时失败，说明核心能力仍受数据覆盖限制。所谓 controllable dynamics 更像 latent-level memory reuse + generative prior interpolation，而不是显式 planning。

Relation To Prior Work

最接近的谱系是 SDEdit-style editing、diffusion/flow inversion-based video editing、training-free motion transfer，以及 masked video inpainting。ProxyUp 的新意不在于使用 inversion、mask 或加噪，这些都是已有工具；新意在于它把这些工具服务的目标从“改输入视频”改成“把输入视频降格为动态条件”。这一区别很关键：editing 的默认假设是 source 与 target 同一世界，motion transfer 的默认假设是 source motion 可直接映射到 target subject，inpainting 的默认假设是可见区域应被保留；ProxyUp 的默认假设则是 source 只提供一部分动态边界条件，其余世界由 prompt 和 generative prior 重新生成。

看似新的地方有一部分是已有思想重组：region-wise latent noising 类似 masked SDEdit / latent inpainting，SFR 类似多轮 denoise-renoise 或 stochastic projection。但实质创新在于将这些组合成一个适配 proxy-conditioned generation 的信息瓶颈：保留低保真 proxy 中最难由文本指定的部分，主动丢弃最容易污染生成的部分。这种“选择性继承 + prior relaxation”的范式可能比具体算法更有价值。

Dataset / Evaluation

评估集包含 simulation 和 real-world proxy，覆盖刚体、软体、交互和类似流体的动态，方向上是合理的，因为现有 benchmark 的确无法验证 proxy-as-dynamics-carrier 这个 claim。但规模只有 76 个 proxy，且任务和 prompt 是作者构造的，更多是诊断集而不是广泛泛化 benchmark。它能支持“在这些代表性 proxy-guided 场景上优于现有错配 baseline”，但不能支持“普遍解决复杂动态控制”。

评价指标采用 IQ、MR、Mechanics、Material 以及基于问题描述的视频问答式打分，这对交互合理性有帮助，但也带来明显主观性和 prompt/QA 设计偏置。文中未充分说明这些问题是否会偏向 ProxyUp 的输出形式，也未充分隔离 backbone 差异、inference budget、mask 质量对结果的贡献。附录做了 cross-backbone 和更多 SDEdit 步数对照，这是加分项，但仍不足以完全排除“更强 base model + 更多 test-time compute”解释。

Limitation

ProxyUp 的成立依赖 proxy 与目标视频之间存在可被局部 latent 继承的动态同构：前景区域的运动在新语义中仍然有意义，mask 能覆盖真正的 motion-critical part，且背景交互可由模型 prior 合理补全。一旦目标需要改变拓扑、改变接触对象、引入 proxy 中没有的隐藏动作，方法就会退化为让预训练模型猜。它把 paired data 的困难转移成了 proxy 构造、mask 获取和 prompt-proxy 对齐问题。

scalability 上限也比较明确：它不学习新物理，不积累新控制能力，每个样本都要付出较高 test-time compute；SFR 迭代过少会 OOD，过多可能冲淡 proxy dynamics，这个 trade-off 文中未充分量化。泛化可能主要来自 Wan2.2 的数据覆盖，而不是 ProxyUp 自身的推理能力。对于真实 deployment，最难的可能不是算法，而是如何自动生成高质量 proxy、确定 foreground mask、指定合理 force/contact semantics，并避免模型用视觉 prior 覆盖掉罕见动力学。

Takeaway

• 第一，proxy video 作为 dynamics carrier 是一个值得保留的任务设定：它把文本不擅长表达的时序控制外包给低成本模拟或真实记录。
• 第二，最可迁移的 insight 是 selective latent inheritance：不要把参考输入当作整体条件，而是在 latent 中只继承不可替代的信息，其余交给生成 prior。
• 第三，SFR 代表了一类重要方向：通过 test-time stochastic projection 修复手工控制信号与生成模型分布之间的不匹配。
• 第四，未来真正值得做的是显式建模 proxy-to-target 的接触点、力语义和可变拓扑，而不是继续堆更复杂的 masked latent heuristics。

一句话总结

ProxyUp 是一篇把视频动态控制从训练式条件建模转向 test-time latent composition 与 prior relaxation 的工作，真正贡献在于提出了“proxy 只作为动态边界条件”的生成范式，而不是证明模型已经具备可靠的物理推理能力。