精读笔记

Problem Setting

这篇论文处理的是 trajectory-conditioned I2V 中最难的子问题：多对象、同类实例、轨迹交叉和遮挡条件下，生成模型是否能同时保持 identity correspondence 与 trajectory adherence。关键矛盾在于，用户输入是 object-level sparse control，但视频扩散模型的生成空间是 dense spatiotemporal latent；如果把所有轨迹融合成一个 dense condition，模型必须从混合信号中重新推断哪个轨迹属于哪个对象。以前方法卡住的地方不是不能表达运动，而是 object-to-trajectory assignment 在拥挤场景中没有被结构化约束。TrajLoc 的目标就是把这个 assignment 从“让网络学出来”变成“在 attention 中直接指定”。

Motivation

已有路线的问题在于把稀疏轨迹过度工程化成视频尺寸条件：motion patch、dense displacement、trajectory volume、ControlNet feature、latent propagation，本质上都把多条对象轨迹混在一个共享场里。这样在单对象或少数对象时可用，但当对象数增加、路径交叉、遮挡出现时，dense signal 没有天然的实例隔离机制。作者的核心观察是：视频 DiT 里已经有一个语义到空间的信息通道，即 text-video attention；如果对象 token 本身就是语义锚点，那么轨迹控制应该绑定到这个 token，而不是另造一个 dense controller。缺口因此不是更强的 motion encoder，而是让 sparse object control 进入模型已有 conditioning space 的正确接口。

Core Idea

TrajLoc 真正改变的是轨迹控制的建模粒度：从 pixel/latent-level dense conditioning 改为 object-token-level attention intervention。每个对象的类别 token 不再只是语义提示，而成为一个可被定位的实例控制句柄；该 token 的 cross-attention column 被替换成沿目标轨迹的 Gaussian heatmap，从而使这个对象 token 的影响只出现在它应该出现的时空位置。

这个设计引入了很强的 inductive bias：对象是彼此独立的控制单元，轨迹是该对象 token 的空间支持集，identity 信息通过同一个 token/value 通道注入。它比 prior 更 scalable 的原因不是计算复杂度神奇降低，而是 correspondence 不再依赖 dense field 中的隐式解混。对象数增加时，系统只是增加 token-trajectory pairs，而不是让一个共享控制图承担越来越复杂的实例分离任务。

Method

方法中真正必要的机制有三点。第一，attention localization 负责把“对象 i 应该在哪里”写进每层 attention：替换对象 token 的 attention column，相当于对该 token 的空间作用域施加硬约束。这解决的是位置漂移和 trajectory-object mismatch，而不是一般的运动建模。

第二，trajectory token 负责补足 heatmap 缺失的信息。2D Gaussian 只告诉模型某帧中心在哪里，不告诉它深度、速度模式、遮挡顺序或整体运动语义；把轨迹压成一个文本空间 embedding，是为了让 frozen text encoder 后的 conditioning 仍保留这些非局部属性。

第三，appearance encoder 把首帧局部视觉特征写入对象 token，解决同类多实例无法靠类别词区分的问题。这里的本质不是“多了一个视觉 encoder”，而是把 category token 从 class-level semantic anchor 改造成 instance-level appearance anchor。训练中的 LoRA、bbox loss、trajectory autoencoder pretraining 是为了让 backbone 接受这种 token-level intervention；它们重要，但不是论文的核心建模贡献。

Key Insight / Why It Works

最核心的有效性来自 better inductive bias，而不是 scaling。Dense conditioning 的根本弱点是把 assignment problem 留给网络；TrajLoc 则在 attention 结构里直接规定 assignment：这个 token 只在这条轨迹附近起作用。对多对象控制来说，这比更大的 ControlNet 或更复杂的 trajectory rasterization 更关键。

这本质上是一种 representation alignment：用户给的是 sparse object trajectories，模型内部已有 text token 作为 object handle，TrajLoc 把两者对齐。attention replacement 让轨迹不再是外部 hint，而是改变信息流的 routing constraint。只要 base I2V model 已经知道如何根据文本 token 和首帧生成对象外观，TrajLoc 就不需要重新学习完整视频生成，只需控制对象 token 的空间落点。

最可能的核心贡献是 attention column replacement。ablation 中去掉它退化最大，这符合直觉：没有硬空间约束，trajectory token 和 appearance token 仍然只是弱 conditioning，模型会回到 prior-driven generation。trajectory token 和 depth channel 更像处理遮挡/前后关系的辅助变量；appearance encoder 主要缓解同类实例 identity collapse，但它是否足够强取决于训练分布。

需要直接指出：部分增益可能来自 evaluation protocol 与方法假设高度匹配。所有评估都是 static camera、固定分辨率、对象首帧可见、轨迹中心可得，这正是 attention heatmap control 最舒服的设置。synthetic data coverage 也很关键，尤其 MOTSynth 占比较高，作者报告 GTA-V prior leakage，说明所谓 OOD 泛化并不是纯粹的抽象控制能力。这里没有真正的 planning，也没有长期状态推理；更像是强 routing bias 加上 backbone prior 的组合。

Relation To Prior Work

它最接近 cross-attention control、Prompt-to-Prompt / Attend-and-Excite 一类 attention manipulation，以及 trajectory-conditioned video generation 中的 object motion control。和 FreeTraj、Motion-Zero、TrailBlazer 等训练自由 attention guidance 的区别在于，TrajLoc 不是 soft guidance 或 loss-based optimization，而是在训练和推理时直接替换 attention 权重，并让模型适应这个替换。

和 Tora、Motion Prompting、LeviTor、MagicMotion、Wan-Move、ATI 等 dense conditioning 方法的本质差异是控制信号的承载位置不同。prior 把轨迹变成 dense video-sized representation，再让网络从中解析对象；TrajLoc 把轨迹绑定到对象 token，让 attention 负责空间路由。这是实质创新。

但它也不是凭空出现的新范式，而是已有思想的有效重组：GLIGEN 式 grounded token、attention editing、first-frame feature reuse、LoRA adaptation、trajectory embedding 都是熟悉组件。真正新增的信息是：对多对象轨迹控制而言，attention column 可以被当成 per-object spatial actuator，而不只是可视化解释或软引导信号。

Dataset / Evaluation

评估设计总体能支持论文的主 claim：多对象、轨迹交叉、遮挡、最多 20 个对象，并且跨 CogVideoX 与 WaN 两种 attention 架构，说明机制不是单一 backbone hack。合成几何、台球、足球、MOTSynth、MOT17、DAVIS 组合覆盖了从规则运动到 crowded pedestrian 再到自然场景的梯度，任务覆盖比多数 trajectory-control paper 更强。

但 evaluation 仍然验证的是一个受控版本的问题。所有数据被约束到 static camera、720×480、49 帧、对象首帧可见，DAVIS 还做了 static-camera filtering 和 stabilization。这使 EPE 指标与方法的 Gaussian center control 非常对齐。真实 deployment 中 camera motion、对象进入/退出、长期完全遮挡、非刚体姿态变化、untracked objects 的动态都会显著更难。

另一个需要注意的点是 baseline fairness 复杂。baselines 使用 per-video captions，甚至由全视频 VLM 生成，这看似给 baseline 优势；但 TrajLoc 针对论文评估协议进行 LoRA fine-tuning，并使用 ground-truth trajectories/depth/bbox-focused loss，适配程度也很高。结论可以相信方向性优势，但不宜把表格数字解读成通用视频控制能力的绝对差距。

Limitation

最大前提是 trajectory center 本身足以定义对象运动。对于刚体小物体、行人中心点，这个假设合理；对 articulated objects、变形物体、大尺度对象、相机运动场景，它会变弱。方法把对象控制简化为 token influence 的空间定位，但并不保证物理一致、姿态合理或交互正确。

scalability 的上限也不是无限对象。虽然每个对象独立 token 化，但 prompt length、attention column 数、Gaussian overlap、row renormalization 都会带来冲突。当多个对象在同一位置遮挡或 heatmap 大量重叠时，文中未充分说明如何避免 token value 竞争。depth token 可能缓解，但不是显式 occlusion reasoning。

泛化存在明显数据依赖。作者承认 synthetic prior leakage，尤其 GTA-V pedestrian sprite 出现在 OOD 场景中，这说明 appearance preservation 不够强时，模型会退回训练分布高频模式。所谓真实世界泛化更像是在 static-camera、已知轨迹、短视频条件下对 backbone prior 的重定向，而不是学到了通用多对象动力学。

还有一个被转移的问题：dense methods 把复杂性放在 condition encoder，TrajLoc 把复杂性放在 attention intervention 和 token alignment。它避免了 dense tensor entanglement，但要求精确找到对象 token、正确替换 attention、处理 CFG 分支、为 joint self-attention 做近似。CogVideoX 上的 two-SDPA approximation 与精确 replacement 不等价，DAVIS 上 additive 反而更好，说明机制在不同分布下还不完全稳定。

Takeaway

• 第一，trajectory control 不一定要走 dense condition route；如果控制目标天然是 object-level sparse signal，把它绑定到 token-level attention handle 可能更干净。
• 第二，多对象生成的核心不是“运动表示更丰富”，而是 correspondence 约束。
• 谁对应哪条轨迹的问题如果不显式解决，scaling 到 crowded scenes 会持续崩。
• 第三，attention 不只是解释工具或 soft guidance，它可以作为生成过程中的 routing actuator。

一句话总结

TrajLoc 是一篇把多对象轨迹控制从 dense video conditioning 推向 object-token attention routing 的工作，真正贡献在于用硬 attention localization 显式解决 trajectory-object correspondence，而不是提出新的视频生成 backbone。