精读笔记
Problem Setting
这篇论文不是在做一般 RL poisoning，也不是普通 supervised data poisoning 的连续控制版本；它瞄准的是 learned world model 在部署后继续 fine-tune 时的 dynamics-data attack surface。攻击者只能改 fine-tuning buffer 中一小部分 transition 的 next-state target，不能改 reward、不能改 action、不能改 deployed 参数，最终目标是让更新后的 world model 在 MPC / model-based policy improvement 中诱导低回报行为。
真正困难点是间接性：攻击不是直接让 policy 变坏，而是先让 dynamics model 形成某种局部错觉，再让 planner 在这个错觉中“理性地”选坏动作。这里的关键矛盾是 harmfulness 与 stealth 的冲突：足够大的 dynamics 偏差才会改变规划决策，但过大的 one-step residual 又会被数据筛查或模型监控发现。以前方法卡住的地方在于，它们要么默认 label 是离散且可直接优化，要么在 RL 中直接操纵 reward / transition 以实现 target policy；而 world-model poisoning 需要同时解决 inverse planning 与 data realization。即使知道一个坏 policy，也不保证存在一个足够接近真实 dynamics 的 world model 能诱导它，更不保证这个 world model 能由少量 poisoned transitions fine-tune 出来。
Motivation
已有路线不够的根本原因是攻击对象错位。supervised poisoning 优化的是样本梯度或标签边界，RL poisoning 多优化的是 reward 或 policy 行为，而 model-based agent 的脆弱点在于 planner 对 learned dynamics 的长程放大。world model 的 one-step error 可以很小，但如果偏在 planner-sensitive region，就可能改变 action ranking。
作者的核心观察是：continual adaptation 把本地 trajectory buffer 变成了一个比预训练数据更容易被攻破、比 test-time perturbation 更持久的入口。world model 一旦被 fine-tuning data 轻微推偏，后续 planning 会反复调用这个偏差，形成长期行为退化。关键缺口是缺少一种方法能够回答两个问题：什么样的 dynamics 偏差会伤害 planning？这种偏差如何通过有限、隐蔽的数据修改实现？SWAAP 正是围绕这两个问题组织的。
Core Idea
SWAAP 的核心思想是把不可直接求解的 poisoning bilevel problem 分解为两个更可控的空间：先在模型空间中寻找一个“坏但不像坏”的 target world model，再在数据空间中构造 poisoned transitions，使 victim 的正常 fine-tuning 梯度朝这个 target model 走。这个分解的本质是把攻击从 per-transition perturbation 提升到 dynamics-function manipulation：poisoned data 不是为了单点预测错误，而是作为 optimizer control signal。
这个建模方式和 prior 的本质区别在于，它没有试图直接指定 target policy，也没有把 next-state perturbation 当作局部 adversarial example；它先让 planner 自己在被篡改的模型中推导出坏行为。引入的 inductive bias 是“攻击应该沿着 model update gradient 与 planner-sensitive dynamics direction 对齐”。这比随机扰动或局部 value-reducing PGD 更 scalable 的原因在于，它利用 victim fine-tuning 机制作为放大器：少量 poisoned samples 只需诱导正确的更新方向，而不必覆盖所有未来状态。
Method
Stage 1 的机制价值在于识别 planner-sensitive dynamics deformation。作者用 bilevel formulation 表达“模型变化 → planner response → true-environment return”的链条，但不显式反传 through 完整 policy optimization，而是用 first-order dynamic-barrier / BOME-style 近似，并通过 transition-gradient estimator 给出对 dynamics 参数的 return gradient。这一步解决的是攻击目标选择问题：在保持低模型偏差的同时，找到会让 planner 行为变差的 dynamics。
Stage 2 的机制价值在于 target realization。直接把 Stage 1 model 覆盖到 victim 不符合威胁模型，直接插入 target predictions 也不一定产生正确 fine-tuning 轨迹；因此作者用 gradient matching，让 poisoned dataset 诱导的 training gradient 与“clean model 向 target model 靠近”的 gradient 对齐。这里真正优化的是更新方向，而不是 poisoned target 的表面数值。
stealth constraint 的作用不是证明不可检测，而是让投毒样本落在 reference world model 的自然预测误差尺度内。它把异常度从“任意小扰动”改成“像模型本来就会犯的误差”。top-residual transition selection 则是工程上选择最能推动 target realization 的样本：优先改那些相对 target model 最不一致的 transition，使有限 poisoning budget 更有效。trajectory-consistent poisoning 是对 sequential buffer 的必要修正，避免同一中间 latent state 在相邻 tuple 中出现显式矛盾。
Key Insight / Why It Works
这篇最重要的 insight 是：world-model poisoning 的有效性不来自制造大 prediction error，而来自制造 planner 会放大的、方向正确的 dynamics error。MPC / model-based policy improvement 本质上反复查询 learned dynamics 来比较 action sequence；如果 dynamics deformation 改变了高价值动作与低价值动作的 imagined ranking，即使 one-step residual 接近 clean residual，也可能导致真实环境 return 明显下降。
真正的核心贡献更像是 representation / gradient alignment，而不是 bilevel optimization 本身。Stage 1 提供 harmful direction，Stage 2 把这个 direction 翻译成 fine-tuning gradient。相比之下，transition-gradient theorem 和 BOME 近似更多是让 Stage 1 可计算的技术支架；stealth regularizer 是实用上重要但概念上直接的约束；top-rp selection 是合理的 engineering heuristic。论文中显示 Direct Model Poisoning 与 SWAAP 之间存在 gap，说明最难的不是“找到坏模型”，而是“用少量数据实现坏模型”。这也是方法的真实瓶颈。
是否主要来自 scaling / data？不是典型 scaling gain，也不是 retrieval；更像是利用 latent structure 和 optimizer dynamics 的 attack。它依赖 latent space 中小偏移可以语义上改变 planning-relevant features，同时又在 one-step residual 上看起来像自然误差。这里有一个隐含前提：world model 的 latent geometry 对 planner 足够敏感，但对 residual detector 不够可分。这一前提在 TD-MPC2 的低维控制 latent 中成立，在大型 video world model 或多模态 world model 中是否成立，文中未充分说明。
TRIM 下攻击甚至更强这一点很有意思，但归因不够清楚。作者猜测 poisoned samples 会诱导 TRIM 丢掉 clean samples，这可能成立，但需要更细的 influence analysis；否则也可能只是 TRIM 与该 residual 分布错配导致的副作用。这里的增益来源不清，不能过度解读为对 robust training 的普遍绕过。
Relation To Prior Work
最接近的谱系有三条：supervised gradient-matching poisoning、RL reward / environment poisoning、model-based RL 中的 dynamics manipulation / model poisoning。SWAAP 实质上是把 supervised poisoning 里的 gradient matching 移植到 world-model fine-tuning，但新增的信息是 target gradient 不再来自分类 loss 或指定标签，而来自一个会诱导 planner 失败的 target dynamics。
和传统 RL poisoning 的差异在于攻击层级。RL poisoning 往往直接操纵 reward 或 transition 以让 learner 学到某种 policy；SWAAP 不直接控制最终 policy，而是控制 planner 所依赖的 learned transition model。这使问题从“教 policy”变成“塑造一个会误导 planner 的模拟器”。这一区别是实质性的，因为 world model 的误差会在 imagined rollout 中复用并放大。
看似新的部分中，bilevel optimization、BOME、gradient matching 都不是新思想；新意在于它们被组合成一个适配 world-model poisoning 的 pipeline，并且明确区分 target identification 与 data realization。最实质的创新是把 dynamics poisoning 表述为“找到 harmful target model + 用 poisoned transitions 匹配其 fine-tuning gradient”，而不是单纯对 transition 做 adversarial perturbation。
Dataset / Evaluation
评估覆盖了多个连续控制 benchmark，包括 locomotion、dexterous manipulation、MetaWorld / ManiSkill 类任务，并以 TD-MPC2 为主要 victim，DINO-WM 作为有限补充。这个覆盖足以支持“深度 model-based RL 的 adaptation pipeline 存在现实 vulnerability”这一 claim，但不足以支持“foundation world model 普遍脆弱”这一更大 claim。
实验设计的优点是同时看了 return degradation、data-level deviation、model-level deviation，以及 pre-training residual / CUSUM、training-time TRIM、test-time monitoring 三类防御。这比只报 attack success 更有说服力。缺点是防御基本是非自适应 residual-style baseline，且 stealth 主要在 latent space 中定义；真实系统中的 sensor provenance、trajectory consistency、多步物理一致性、ensemble disagreement、human / task-level sanity check 都没有充分覆盖。
DINO-WM 与 gray-box transfer 是方向上有价值的初步证据，但还不能视作强泛化证明。尤其 raw observation-space poisoning 只给了 preliminary evidence，离真实摄像头 / robot logging pipeline 的可实施攻击还有明显距离。
Limitation
最大限制是威胁模型偏强。主实验假设攻击者知道 victim architecture、pretrained weights、fine-tuning loss，并能在同一 latent space 中修改 next-state targets；这更像 worst-case robustness evaluation，而不是普适现实攻击。若数据只以 raw observation 存储、encoder 不可控、日志有签名或跨传感器校验，攻击难度会显著上升。
第二，方法把问题从端到端投毒转移成 target realizability 问题。Stage 1 能找到的 harmful low-deviation model 不一定能由少量 transition poisoning 实现；论文中 Myo-Pen-Twirl-Hard 的 frontier gap 已经说明这一点。当前两阶段设计没有让 Stage 1 感知 Stage 2 的可实现性，因此可能选出“理论上坏、数据上推不出来”的目标。
第三，stealth claim 有边界。δd 接近 clean residual 只能说明它不容易被简单 reference-model residual 筛掉；不能说明在多步 rollout、trajectory physical consistency、latent distribution density、causal constraints、ensemble uncertainty 下不可检测。所谓 stealth 更准确地说是“evades evaluated non-adaptive residual-style defenses”。
第四，scalability 上限不清。Stage 1 需要环境交互 / surrogate rollouts、transition-gradient estimate 和 target model search；在高维视觉 world model、长 horizon、stochastic dynamics 或大型 transformer / diffusion world model 上，计算与优化稳定性都未被充分验证。DINO-WM 结果只是小规模初步延展。
第五，增益归因仍有混杂。性能下降可能来自 planner-sensitive corruption，也可能部分来自 fine-tuning instability、latent distribution shift、value/reward head 与 dynamics head 的耦合错配。论文通过 baselines 缓解了这个疑虑，但还没有完全隔离每个因素。
Takeaway
- 1. world-model adaptation 的安全边界不能只看 final policy；fine-tuning transition stream 本身就是高杠杆攻击面，小的 dynamics-gradient bias 可以被 planner 放大。
- 2. 对 model-based agents 的 poisoning，更自然的抽象不是 sample perturbation，而是 optimizer-mediated dynamics realization：先定义有害模型方向，再让数据梯度实现它。
- 3. 未来防御不应只做 one-step residual filtering；更值得做的是多步 rollout consistency、planner-sensitivity-aware anomaly detection、ensemble / uncertainty-based robust fine-tuning，以及带 provenance 的数据链路保护。
- 4. 后续方法如果要推进这条线，关键不是更复杂的 perturbation optimizer，而是联合建模 harmfulness、stealthiness 与 realizability，避免 Stage 1/Stage 2 脱节。
一句话总结
这篇论文把 world-model 安全中的训练时投毒问题从“扰动 transition”提升为“通过梯度匹配实现有害 dynamics”的两阶段框架，是 model-based RL poisoning 从 policy/reward 层走向 learned dynamics 层的一次实质性问题重构。