精读笔记
Problem Setting
这篇论文实际解决的是 IVE 的任务空间失真问题：社区长期把 instruction video editing 近似成单一外观编辑，例如移除物体、换属性、换风格，于是模型训练和评测都围绕局部 appearance transformation 优化。但真实创作中的编辑更接近结构性、组合性和条件化控制：主体要移动，相机要变，多个编辑要同时满足，reference image 要作为外部约束进入生成过程。
真正困难不在于“根据一句话改视频”这个表层定义，而在于多个目标之间存在强耦合：编辑区域要变，非编辑区域要保持；结构要动，身份和背景要稳；文本要被分解成多个可执行子目标，且每一步错误都会在时间轴上放大。以前方法卡在两个地方：一是数据监督没有覆盖这些组合结构变化，二是单分支扩散模型把语义、定位、运动、外观全部混在同一路径里，缺少可控的信息分工。关键矛盾是：越复杂的编辑越需要显式结构约束，但越显式的约束又越容易破坏视频自然性和时序一致性。
Motivation
已有路线不够的根因不是单纯模型容量不够，而是训练分布和评测分布都过于保守。InsV2V/InsViE 等数据合成范式解决了 paired video editing data 稀缺的问题，但它们主要提供 appearance-level supervision；Ditto/OpenVE 一类工作加强了质量控制或规模，但仍没有系统覆盖 subject motion、camera motion、reference-based edit 和 multi-task edit。模型自然学到的是“保留背景 + 局部替换/风格化”，不是“理解复杂指令并重排动态结构”。
作者的核心观察是：如果数据本身没有把复杂编辑拆成可学习、可验证的操作，模型端再接 MLLM 或更大 diffusion backbone 也很难稳定获得结构控制能力。因此 Goku 的出发点是重定义监督：把编辑任务的 taxonomy 扩展到结构和组合层面，并用强自动化 pipeline 生产足够多、足够干净的 paired examples。缺口不是缺一个更漂亮的编辑模型，而是缺一个能迫使模型学习结构、组合和空间约束的数据-评测环境。
Core Idea
Goku 的真正核心不是“2M 数据集 + 一个模型 + 一个 benchmark”这个组合，而是把复杂视频编辑从端到端黑箱生成改写为一个带结构分解的监督问题。复杂指令先在数据合成阶段被拆成可执行子问题：哪些是 appearance edit，哪些是 subject/camera motion，哪些需要 reference，哪些可以顺序组合。这样做的直觉是，复杂编辑的全局成功率等于多个局部可控步骤的乘积；如果每个步骤都有专门条件、专家模型和过滤器，最终数据比让一个通用模型直接 hallucinate 复杂编辑更可靠。
在模型侧，Goku-Edit 的核心建模变化是将结构控制和外观渲染解耦：mask branch 专门承载“哪里该变、结构如何变”的信息，main branch 专注生成最终视频外观。这个 inductive bias 很重要，因为 IVE 中大量失败来自语义理解已经对了，但编辑溢出、边界漂移、主体定位错误或运动结构不稳。双分支 + RoPE 对齐 + SpatialCFG 本质上是在重新组织信息流：结构信号不再只是文本 token 的隐式暗示，而是通过跨分支 attention 以空间对齐的方式持续注入主生成过程。和 prior 的本质差别在于，它不是只扩大数据或换 text encoder，而是把“结构”作为一条独立、可放大的控制通道。
Method
第一，数据合成的必要性在于复杂编辑几乎无法直接从真实 paired videos 中获得。作者用 Koala-36M 作为源视频池，再通过 MLLM 生成任务化指令和目标对象，把原始视频转换成可编辑样本。这里的核心变化不是自动 captioning，而是让 MLLM 参与判断“这个视频适合做什么编辑”，从而减少任务-内容冲突。
第二，复杂编辑被拆成专家可处理的子问题。Add/Remove 利用互逆关系规避直接插入物体带来的漂浮和遮挡问题；style transfer 被拆成首帧风格化、深度约束和视频传播；subject movement 被拆成动作变化和位置变化；camera movement 交给相机重构/重拍摄模型；multi-task edit 则顺序执行单任务链。这些机制的必要性在于降低合成难度，但也意味着数据分布继承了各专家模型的偏差。
第三，progressive filtering 是整篇中非常关键但也很工程化的部分。它在源视频、条件表示、最终合成结果三个阶段过滤，分别解决输入质量、条件错误传播和最终语义/视觉失败。它带来的核心变化是把数据集从“生成模型输出集合”变成“强筛选后的高置信监督集合”。88% 的过滤率说明原始合成噪声非常高，也说明最终质量很大程度依赖过滤强度。
第四，Goku-Edit 的双分支结构解决的是结构控制和外观生成互相干扰的问题。mask branch 在较低分辨率上预测编辑区域/结构，main branch 生成视频；两者通过跨分支 attention 交换信息。RoPE-aligned spatial cross-attention 解决跨分辨率 token 坐标不一致导致的错误位置偏置；SpatialCFG 则在推理时放大 cross-branch 带来的空间约束，减少编辑外溢。这些机制不是通用 reasoning 模块，而是针对 diffusion video editing 中空间对齐失败的结构性修补。
Key Insight / Why It Works
我认为这篇最有效的部分首先是 data coverage，其次是 data filtering，再其次才是架构。Goku 把训练分布从单一 appearance edit 扩到结构、多任务、reference 条件，这会直接改变模型学到的 conditional manifold；很多 prior 方法在 Goku-Bench 上失败，并不一定是模型没有潜力，而是训练时根本没见过这些操作组合。换言之，这里的核心能力很可能主要来自“监督信号中第一次大量出现这些任务”。
progressive filtering 的作用也不应低估。视频编辑监督对噪声极其敏感：一个样本如果语义错、mask 错、时间不稳，模型学到的不是鲁棒性而是编辑歧义。强 MLLM + low-level checks 的过滤相当于用大量 annotation-time compute 做 curriculum：只让模型看到成功且清晰的编辑轨迹。这比单纯扩大数据更重要，因为复杂编辑的失败样本会严重污染 instruction-following 学习。
双分支结构的 insight 是合理的：结构编辑和外观编辑在 diffusion latent 中竞争容量，显式分离结构通道可以减少主分支同时承担定位、运动、纹理的压力。RoPE alignment 是一个具体但有价值的 representation alignment 修补，解决跨分辨率 cross-attention 中位置编码相位错配的问题；这不是宏大创新，但很贴合视频扩散模型的实际 failure mode。SpatialCFG 更像 test-time compute / guidance trick：它通过对比 coupled 与 decoupled prediction 放大空间约束，理论上会提升边界和非编辑区域保持，但也可能在复杂场景中过度强化 mask 先验。
需要直接指出的是，所谓“复杂指令理解”未必等价于模型形成了真正的多步 reasoning。数据生成阶段已经用 Gemini2.5-Pro 把很多 planning 和 task decomposition 做掉了，训练模型看到的是分解后产生的 paired examples；Goku-Edit 使用 frozen Qwen3VL text encoder 也更多是更强语义表征，而不是可验证的规划能力。若 benchmark 指令也落在相似 taxonomy 和组合模板内，模型表现可能更像大规模 task-template retrieval + conditional generation，而不是开放式 compositional reasoning。
Relation To Prior Work
这篇最接近的谱系是 InsV2V/InsViE 式 synthetic triplet dataset scaling、LucyEdit 式大规模训练、AnyV2V 式分解编辑，以及 ControlNet/Mask-guided diffusion/CFG guidance 一类结构条件控制。它不是从零提出一个全新视频编辑范式，而是把这些已有思想组合到 IVE 的复杂任务空间里，并系统工程化。
和 InsV2V/InsViE 的本质差异在任务定义：prior 主要解决 paired data scarcity，Goku 解决 paired data 的 task coverage 和 quality ceiling。和 Ditto/OpenVE 的差异在覆盖结构/组合编辑，而不是只把 appearance-level 数据清洗得更干净。和 LucyEdit 的差异在于 Goku-Edit 不只依赖规模和通用视频扩散能力，而额外显式引入结构分支与空间对齐。
看似新的部分中，MLLM 作为 text encoder、mask branch、CFG-style guidance 都是已有趋势的重组；真正有实质新增信息的是：一是大规模结构/多任务 IVE 数据的构造 taxonomy，二是 progressive filtering 在复杂编辑数据合成中的系统化使用，三是跨分辨率 RoPE 对齐这一针对双分支视频扩散的具体机制。论文的技术位置更像“数据中心的视频编辑能力扩展 + 针对结构控制的架构补丁”，而不是纯模型算法突破。
Dataset / Evaluation
Goku 数据集的强点在任务覆盖：它显式包含 basic edits、camera movement、subject movement、reference-based edit 和 2–5 task multi-task edit，这确实比多数 IVE 数据更接近真实创作需求。它也覆盖更长视频和较高分辨率样本，且通过过滤减少静态视频、语义错配和视觉失败。问题是这些数据基本都是 synthetic / model-generated，不是真实人工编辑轨迹；因此它更适合训练模型执行“合成世界中定义清楚的编辑”，不等价于覆盖真实剪辑师的复杂意图。
Goku-Bench 的设计基本能验证论文自己的核心 claim：如果 claim 是“现有 IVE 方法不擅长结构、多任务、reference 编辑，而 Goku-style 数据和模型能提升这些能力”，那么 benchmark 的任务分布和指标是对齐的。PR、SR、IF、SuM、CM、ST 这些指标比只看 CLIP/FVD 更能暴露编辑能力差异。
但评测也有明显 limitation。多个关键指标依赖 Gemini2.5-Pro 作为 judge，而同一类 MLLM 又参与数据生成和过滤，存在 evaluation bias 的风险。Benchmark 来自 Koala-36M，训练源也来自 Koala-36M，虽然具体样本可能不同，但 domain overlap 很强；这会放大 domain-specific data coverage 的收益。商业模型在感知质量上仍更强，而 Goku-Edit 在结构指标上更好，说明论文更证明了“专门 benchmark 上的任务对齐”，没有完全证明通用视频编辑质量全面领先。
Limitation
第一，方法成立高度依赖强专家模型和强 MLLM。Gemini2.5-Pro 负责内容筛选、指令生成、语义验证、结果评估；Flux、Wan2.2、VACE、RecamMaster 等负责实际合成。Goku 把复杂视频编辑问题部分转移成“如何调度和过滤一组强生成模型”，而不是完全解决 paired data acquisition 的根本难题。文中提供 Qwen3VL open-source filtering 替代方案，但主结果对闭源能力的依赖仍然明显。
第二，增益归因不清。数据 scale、task taxonomy、过滤强度、模型架构、MLLM text encoder、benchmark 同分布任务同时变化；虽然有消融，但仍不足以干净地区分“架构带来的泛化”与“数据覆盖带来的拟合”。核心能力可能主要来自数据覆盖，尤其是 subject/camera/multi-task 这些 prior 几乎没训练过的任务。
第三，所谓 reasoning 可能被高估。论文中复杂指令的 decomposition 大多发生在数据构建阶段，Goku-Edit 本身并没有显式 planner、长期状态或可解释执行轨迹。对于训练 taxonomy 之外的组合、需要跨时间因果约束的编辑、多轮用户交互，模型是否具备真正组合泛化，文中未充分说明。
第四，scalability 的上限来自合成-过滤成本和专家偏差。过滤掉 88% 样本意味着高质量复杂编辑数据非常昂贵；随着任务更开放，专家模型失败率和 MLLM judge 不稳定性会继续上升。数据集可能会强化专家模型已有的视觉风格、运动模式和物理偏差，最终模型学习到的是“专家模型的成功子分布”。
第五，offline benchmark 与真实 deployment 有距离。真实视频编辑需要可控失败恢复、用户可预测性、局部精修、多轮修改、身份保持和版权/安全约束；Goku-Bench 主要评估一次性生成结果。它能推动研究 benchmark，但还不是完整产品级编辑能力验证。
Takeaway
- 1. IVE 方向的下一阶段不应只卷视觉质量，而要重新定义 task distribution；谁能提供结构、组合、reference、多轮编辑的高质量监督，谁就更可能获得能力跃迁。
- 2. 对复杂生成任务，数据构建中的 decomposition + progressive filtering 可能比模型结构本身更重要。
- 这里的 insight 可迁移到 image editing、3D editing、robot video generation：先把复杂目标拆成可验证子目标，再用强模型合成和过滤监督。
- 3. 结构控制最好不要只依赖文本条件。
一句话总结
Goku 是一篇典型的数据中心 IVE 能力扩展工作：它通过大规模结构/多任务合成数据、强过滤和结构分支建模，把视频编辑从单一外观修改推进到可评测的复杂编辑分布，但其核心增益很可能主要来自数据覆盖与工程化监督质量，而非纯粹模型推理突破。