精读笔记

Problem Setting

QWERTY 处理的是 pretrained image-to-video DiT 的显式运动控制：用户给 mask warp 或 optical flow，希望生成视频按该运动变化，同时不训练新控制分支。关键矛盾在于，DiT 的生成质量来自大规模 pretrained prior 和 3D full attention，但这些模型的运动控制接口仍主要是 text prompt；而一旦引入显式几何控制，传统方法要么需要 finetune，要么依赖 U-Net 的局部结构。困难不在于 motion prompt 的形式，而在于如何把外部几何约束转成 DiT 内部真实生效的时空对应。U-Net 里的 noise warping、attention mask、bbox feature loss 到 DiT 后失效，根因是 DiT 没有强 locality bias，局部 feature-level 约束很难自然扩散成全局一致运动。

Motivation

已有路线缺的是 DiT-native 的 training-free control primitive。finetuning 类方法能把 mask/box/trajectory 编进模型，但代价是数据和训练，并且可能损伤 backbone 的开放生成能力；training-free U-Net 方法的经验不能直接迁移，因为 DiT 的 full attention 让所有时空 token 一次性交互，局部操作不再有同样的可控性；DiT motion transfer 方法虽然也动 attention，但主要是从 reference video 继承运动，不解决用户直接指定运动的问题。作者真正抓住的观察是：I2V DiT 的第一帧在早期 denoising 中已经是稳定 reference，attention map 比 hidden state 更显式承载跨帧 correspondence。因此缺口不是再训练一个控制器，而是找到一个能在 attention logits 中直接写入 correspondence 的操作。

Core Idea

论文的核心思想是把 motion control 从 latent/image warping 改写成 attention correspondence steering。具体说，不是把目标物体在 latent 里搬过去，也不是对中间 feature 加局部 loss，而是把第一帧源区域的 query 经过用户定义的 warp 放到后续帧目标区域。这样目标帧的 query 会更强地 attend 到第一帧源区域 key，并读取对应 value，从而让后续帧在生成时继承第一帧源区域的语义和外观。

这个机制引入的 inductive bias 是“目标位置应从第一帧对应源位置读取信息”。它比 noise warping 更贴合 DiT，因为 DiT 的核心计算就是 token-to-token attention；也比 finetuned control branch 更 generalizable，因为它不改变模型参数，而是复用 pretrained attention prior。和 prior 的本质区别在于：prior 多数在输入、latent 或额外条件上施加约束，QWERTY 直接改写 full attention 的信息路由。

Method

方法上最关键的是 query-only warping。作者分析 softmax 是按 key 维归一化的，因此 warp key 不会让目标 query 必然关注源 key；warp query 则直接把目标 query 替换为源 query，使 target-to-source logit 增大。query+key 或 hidden-state warping 反而会制造额外竞争项，稀释源区域注意力。

第二个必要机制是 STCD。完整 query 中混有 frame-consistent 语义成分和 frame-variant 时间/位置成分，直接跨帧粘贴会把时间身份也搬过去，破坏 attention distribution。STCD 用 PCA saliency 在通道层面区分更像空间语义的通道和更像时间变化的通道，只 warp semantic subspace，本质是在构造一个可跨帧复用的语义地址空间。

第三个机制是 early-step query-warped prediction + self-guided latent optimization。query-warped DiT 的 prediction 在早期就带有目标 layout，作者用它替代前几步 denoising 的 velocity，并进一步让普通 branch 的 prediction 对齐 warped branch。这里的核心变化是把 query warping 从一次内部扰动变成 diffusion trajectory 的 test-time guidance。latent optimization 不是新 prior，而是增强控制稳定性的 test-time compute。

Key Insight / Why It Works

最重要的 insight 是：DiT 的 motion controllability 可以通过改写 attention query 侧的信息需求来实现，而不是通过外部条件学习。query 是“我要从哪里取信息”的索引，key/value 是“可被读取的记忆”。把源 query 放到目标位置，相当于让目标位置用源位置的语义地址去检索第一帧记忆，因此 motion control 变成 memory reuse / representation alignment 问题。

真正有效的部分大概率是 query-only attention routing，而不是 PCA 或 phase loss。STCD 是让这个操作不崩的关键辅助；latent optimization 是把效果放大的 test-time compute；hole filling 是 artifact control。论文的核心贡献不是提出复杂 pipeline，而是识别了 DiT attention 中一个可操作的控制杠杆。

这不是 planning，也不是物理推理。它更像在 pretrained DiT 的隐式 motion prior 上施加早期 correspondence constraint。模型能生成自然运动，是因为 backbone 已经学过大量视频运动分布；QWERTY 只是把它推向某个几何方向。因此能力上限受 backbone data coverage 和 attention prior 限制。若指定运动脱离训练分布或需要长期因果状态建模，方法不会凭空获得推理能力。

论文中“training-free 接近 finetuning-based”的说法要谨慎看。它确实避免了 finetuning 损伤 generalization，但一部分增益来自强 pretrained Wan/CogVideoX backbone，另一部分来自 test-time optimization。若比较的是总计算成本而非训练成本，QWERTY 并不免费。

Relation To Prior Work

它最接近三条线：U-Net training-free motion control、DiT motion transfer、attention/feature manipulation editing。和 U-Net 方法的本质差异是操作对象从 latent/local feature 转到 DiT full attention query；和 DiT motion transfer 的差异是 correspondence 不是从 reference video 抽取，而是由用户 warp 构造；和 finetuned control 模型的差异是控制接口不通过数据学习，而是在 inference 时重写信息流。

看似新的部分里，latent optimization、phase constraint、hole handling 都有明显已有思想重组的成分。实质创新在 query-only warping 的机制判断，以及 STCD 这种针对 RoPE 后 frame-inconsistent query 的安全搬运策略。它属于“test-time representation steering for pretrained generative models”谱系，而不是传统 controllable generation 的 supervised-conditioning 谱系。

Dataset / Evaluation

评估覆盖 object motion 和 camera motion，两类任务基本对应局部前景控制和全局视角控制，能支撑“用户定义 motion control”这一主 claim。跨 Wan 和 CogVideoX 的结果提供了一定 backbone 泛化证据，但主结果仍集中在 Wan，且样本规模是 curated 100+100，不能说明大规模真实部署稳定性。

benchmark 设计有两个明显问题。第一，FID/VBench 会偏好静态或小运动视频，和 motion control 目标冲突；作者也承认这些指标对真实运动不友好。因此核心证据更多来自 FTD、qualitative video 和 human evaluation。第二，camera control 中使用 ground-truth video 提取 RAFT flow 作为控制信号，虽然补充了 depth-estimated flow 实验，但真实用户输入的 camera trajectory、多遮挡、多新显露区域仍没有被充分验证。

整体上，evaluation 支持“在这些 curated 设置下，query warping 比 U-Net-style training-free 迁移更适合 DiT”，但不足以证明它已经是通用 motion-control solution。

Limitation

方法依赖第一帧作为可靠 reference，因此本质上更擅长搬运/重组已有可见内容；对遮挡后出现的新内容、复杂非刚体形变、物体拓扑变化、多对象交互和长期时序目标，上限会很明显。camera control 中新显露区域交给 backbone inpaint，成功与否取决于 pretrained prior，可能出现 unintended object，这不是 control 模块能严格约束的。

时间维度的上限也很关键。DiT latent 通常有时间压缩，control signal 只能在稀疏 latent frames 上注入；这会导致 temporal misalignment 和 jitter。这个问题不是调参能完全解决，而是训练-free 控制 temporally compressed latent 的结构性限制。

泛化并非完全来自方法本身。核心能力可能主要来自大规模 DiT backbone 的数据覆盖和生成 prior；QWERTY 的贡献是高效调用这些 prior，而不是创造新的运动理解。增益来源也有部分不清：query-warped denoising、latent optimization、phase loss 在最终质量中的相对贡献仍可能随 backbone/任务变化。若没有 test-time optimization，方法更轻但控制力下降；若使用 optimization，runtime/memory 成本接近其他 optimization-based baselines。

Takeaway

• 第一，DiT motion control 的有效接口可能不在 latent/noise，而在 attention query 侧；query 是可编辑的信息路由入口。
• 第二，training-free controllability 的关键不是直接施加强约束，而是找到 pretrained model 内部已有 prior 的低损伤控制杠杆。
• QWERTY 的价值在于证明了 full attention 本身可以作为 motion-control substrate。
• 第三，未来值得做的是更精细的时序控制和更低成本的 query steering，而不是继续堆 test-time optimization。

一句话总结

QWERTY 是一篇把 DiT 视频运动控制从外部条件学习转向 test-time attention query 路由的工作，真正贡献是发现并利用 query-warping 这一低损伤的 DiT-native motion-control primitive。