精读笔记
Problem Setting
这篇论文真正处理的是一种 POMDP world modeling failure mode：未来状态由当前 action、对象自身 momentum/actuator lag，以及不可见的 ambient drift 共同决定，而视觉输入只给 clean top-down RGB，不给速度、流场、轨迹或 simulator state。这里的关键矛盾是：action-conditioned prediction 需要 rollout，但决定 rollout 的一部分变量既不可见又不受 agent 控制，只能通过过去一段时间的运动残差推断。
以前的 latent world model 并非不能用历史；问题是它们通常把所有历史信息压进一个统一 latent/recurrent state。这样在短 horizon 上可以通过局部速度拟合过关，但在 drift 持续作用、且误差会随 rollout 累积时，模型容易把环境项误当成动作响应或瞬时状态噪声。论文的设置刻意把 perception 难度降到很低，真正考的是 dynamics factorization：模型能否从视觉历史中分离“物体正在怎样动”和“环境正在怎样搬运它”。
Motivation
已有路线不够的原因不是缺少更强 encoder，而是建模假设偏 action-dominant：很多 benchmark 中未来运动主要由当前控制决定，环境扰动即使存在也不需要被显式建模。在水面船、漂浮物、风中飞行器这类系统里，这个假设不成立。单帧图像给 pose，但不给 velocity，更不给 current；短历史可以估计 momentum，却未必足以识别慢变流场。
作者的核心观察是：ambient drift 是 hidden，但不是完全不可推断。只要看足够长的 image-action history，命令动作与实际位移之间的系统性偏差会暴露出外部搬运因素。关键缺口因此是一个 temporal credit assignment 问题：哪些变化应归因于对象状态/执行器，哪些应归因于环境 context。FlowMo-WM 的动机就是给这种归因过程加结构偏置，而不是把所有东西交给一个 generic recurrent latent。
Core Idea
论文的核心思想是把历史信息按时间尺度和因果角色重新组织：短历史 state 表示对象自身的运动状态，长历史 context 表示慢变的外源环境影响。它不是简单地“加长 RNN 记忆”，而是把记忆拆成两个通道，并让它们在 transition 中扮演不同角色。这个 inductive bias 对水流/风这类问题很自然：momentum 和 actuator response 是局部、快速变化的；ambient drift 是 episode-level 或局部区域内相对慢变的。
更关键的是 zero-context residual transition。模型不是直接用 f(z,a,c) 预测下一状态，而是写成 base dynamics F(z,a) 加上 context residual R(z,a,c)-R(z,a,0)。这样 c=0 时 residual 精确为零，base transition 保留。这个设计改变了信息流：context 不只是额外输入，而是被定义为对 base dynamics 的修正项。相较 prior 的 generic RSSM/TD-MPC-style dynamics，本质区别在于它把不可控环境项建成一个可干预、可消融的 latent factor。
Method
方法中值得保留的机制只有几个。
第一，短历史 latent state。它解决的是单帧无法给出 velocity、angular velocity、actuator lag 的问题。短窗口足以估计局部运动和控制响应，因此不需要把大量长期环境信息塞进同一个 state。这带来的核心变化是把 z 变成更接近 object-centric motion state，而不是全历史摘要。
第二，长历史 compact context。它解决的是 drift 只能从较长时间的 residual pattern 中识别的问题。低维 context 是一个强瓶颈，逼迫模型存储对未来有稳定预测价值的慢变量，而不是逐帧记忆轨迹。是否真的学到物理 flow 文中未充分说明，但作为 predictive context 是成立的。
第三，zero-context residual transition。它解决的是 context 通道解释性和可干预性问题。没有这个结构，zeroing context 只是把模型输入推到 OOD，难以解释；有了 subtract R(z,a,0)，zero context 至少对应“移除 learned drift correction”。这也是论文最像实质机制创新的部分。
第四，监督目标直接是 future pose rollout，而非 image reconstruction。这个选择把问题收缩到 dynamics prediction，避免像素生成噪声稀释训练信号。但这也意味着它不是通用视觉 world model，更像 visual-to-state latent dynamics predictor。
Key Insight / Why It Works
最可能真正有效的是时间尺度分解 + residualized correction，而不是具体网络模块。水流扰动在 simulator 中是 episode-static 或慢变的，且会持续影响轨迹；因此长历史 context 可以通过多步残差平均掉 action noise，提取一个稳定 latent。短历史 z 则保留当前速度/姿态/执行器状态。这个分解降低了 representation interference：如果只用一个 recurrent state，模型必须同时服务于短期精确积分和长期环境识别，容易在有限参数和有限训练预算下混淆。
zero-context residual 的价值在于给 drift 一个相对明确的 functional slot。它不保证 identifiability：模型仍可能把部分 flow 信息编码进 z，把部分 momentum 编码进 c。但它至少让 transition 的一部分容量专门表达“相对 base dynamics 的 context-dependent deviation”。从机制上看，这是 better inductive bias，而不是 scaling。参数量被匹配，训练预算也一致，性能提升不太像单纯模型更大。
不过也不能过度解读。该 benchmark 的 flow fields 来自固定 family，episode 内 time-invariant，图像是 clean top-down，轨迹生成模式覆盖了 passive drift、push-and-coast 等有利于识别流的行为。这意味着模型可能主要学会了在训练分布内从历史轨迹检索/压缩 drift pattern，而不一定学到了可外推的物理流场。probe 中 local flow 和 episode drift 近乎线性不可解码，也削弱了“学到显式 ambient drift representation”的说法；更准确地说，它学到了对 rollout 有用的 non-linear predictive context。
context ablation 是强证据，但它证明的是“context 通道被模型依赖”，不是证明 context 是物理上正确的流场。shuffled context 变差也可能部分来自输入分布错配。不过由于 zero-context residual 给了较干净的干预语义，这个 ablation 比普通 latent ablation 更有说服力。planning 提升则应谨慎看待：shared sampling planner 下预测误差更小自然会带来更高成功率，不能说明模型获得了更强 long-term reasoning。
Relation To Prior Work
这篇最接近三条线：Dreamer/PlaNet/RSSM 类 recurrent latent world model，TD-MPC/TD-MPC2 类 compact task-oriented latent dynamics，以及 meta-RL/context inference/online system ID 中从历史推断隐变量的路线。它的很多思想并不新：用历史识别隐参数、把 dynamics 与 context 分开、用 latent residual 建模扰动，这些在系统辨识和 meta-RL 中都有影子。
真正不同的是组合方式和问题定位：它把这些思想放到 visual world model 的 action-conditioned rollout 中，并针对“object momentum + hidden ambient drift”这个具体 failure mode 设计短/长时间尺度因子化。相比 ContextWM 或 generic context latent，FlowMo-WM 的新信息在于 context 被绑定到 drift correction 的 transition 结构，而不是只作为额外 conditioning。相比 classical marine control，它不需要 flow sensor、observer state 或 hydrodynamic model，但代价是依赖数据分布学习。
所以它属于 disturbance-aware latent world model / context-conditioned system identification 的谱系，而不是生成式视觉模型的新范式。看似新的部分中，CNN/GRU/pose head 都是工程选择；实质创新是把外源扰动作为 residual context correction 放进 visual rollout，并提供较可解释的 prediction-time intervention。
Dataset / Evaluation
评估设计基本支持论文的核心 claim，但支持范围很清楚：它验证的是在受控 2D simulator、干净视觉、固定 flow family 分布下，短/长历史因子化比参数匹配的 generic latent predictors 更适合 long-horizon pose prediction。任务覆盖了两种船体、多个 flow family、多种 trajectory generation modes 和四类 planning tasks，作为 dynamics benchmark 是充分的。
但它不是现实部署验证。没有真实水面视频，没有复杂背景、遮挡、反光、相机视角变化、segmentation error，也没有真正非平稳或三维流体扰动。flow 虽不作为输入或监督，但由预定义 family 采样，训练/测试仍共享生成机制；因此“泛化到开放环境”没有被严格证明。
prediction evaluation 比 planning evaluation 更有说服力。open-loop 60-step rollout 和 context zero/shuffle 直接检验模型是否利用历史 context；planning 只是下游 consequence，且受 sampling planner、cost、action horizon 影响。LOS controller 的对比信息假设不同，只能作为 sanity reference，不能作为 learned visual world model 的公平 baseline。
Limitation
方法成立依赖几个强前提。第一，ambient drift 必须在输入历史窗口内可识别，并且在未来 rollout horizon 内近似稳定。如果流场快速变化、车辆进入未观测区域、或局部 flow gradient 很强，固定 context 会失效。第二，训练数据必须包含足够多能激发系统辨识的轨迹；如果行为策略缺乏 passive drift 或 varied controls，context 可能无法从历史中分辨 action response 与环境搬运。
第三，factorization 没有严格 identifiability。论文通过结构和 ablation 暗示 z/c 分工，但没有约束保证 momentum 不进 c、flow 不进 z。linear probe 结果甚至说明 physical flow 不是简单编码在 c 中。所谓 ambient context 更准确是 predictive nuisance code，而非物理可解释 current estimate。
第四，泛化上限可能主要由 data coverage 决定。flow family、morphology、dynamics randomization 都在 benchmark protocol 内；超出这些分布时，context 很可能做 interpolation/retrieval 而非物理推理。若未来环境超出训练 support，模型没有显式 conservation law、fluid prior 或 online observer 来保证外推。
第五，planning 能力可能被高估。planner 使用 learned model 打分 sampled action sequences，本质是 MPC over learned predictor；成功率提高主要反映短中期预测更准，而不是模型具备长期任务结构理解。尤其 context 在 rollout 中不更新，长期闭环表现依赖反复重新观测和重规划，而不是一次 open-loop imagination 的完整正确性。
Takeaway
- 1. 对 open physical environments，world model 不能只建模 action-conditioned controllable dynamics；外源慢变量需要独立 representational pathway，否则长 rollout 会系统性漂移。
- 2. 时间尺度因子化是一个可迁移的 inductive bias：短历史估 object state，长历史估 environment/task context。
- 这个思想可迁移到 wind、terrain friction、payload change、contact surface、actuator degradation 等 partially observed robotics 问题。
- 3. zero-context residual 是值得记住的设计。
一句话总结
FlowMo-WM 是一篇把系统辨识式 context inference 引入视觉 latent world model 的工作，其真正贡献不是生成模型能力，而是用短/长历史因子化和 zero-context residual 为 hidden ambient drift 提供了更合适的 dynamics inductive bias。