精读笔记

Problem Setting

这篇论文实际处理的是 LLM 自动 reward design 中最麻烦的结构选择问题：给定一个新机器人任务，如何判断哪些 primitive reward components 真正推动 success，哪些只是语言上相关或训练中相关。困难点不在代码生成，而在 reward signal 的因果对齐。LLM 很容易把 velocity、open angle、contact count 这类“看起来相关”的变量写进 reward，但这些变量可能造成梯度噪声、局部捷径或 specification gaming。已有方法通常靠环境反馈和 evolutionary mutation 来筛 reward，本质是用大量 RL 训练弥补结构判断能力缺失。这里的关键矛盾是：reward design 需要因果结构，但现有 ARD 主要依赖语义关联和在线试错。

Motivation

已有路线不够的原因很直接：LLM 生成 reward 的语义 plausibility 和 reward 的可优化性 / 因果有效性不是一回事。Eureka / URDP 之类方法虽然能通过迭代筛掉坏 reward，但每个任务都重新做搜索，且搜索过程本身仍被 LLM 的错误因果归因牵引。作者抓住的缺口是跨任务 reward 结构没有被 amortize：在相近 dynamical system 中，object position、grasp stability、contact force、orientation、task progress 等变量之间的 reward-relevant relations 有共享性。若能把这些关系预先学成结构先验，新任务 reward generation 就不必完全靠 online feedback。

Core Idea

论文的核心思想是把 ARD 从“LLM 在每个任务上猜 reward 并通过环境反馈修正”改成“先离线学习一个跨任务 reward causal skeleton，再用它约束 LLM 的一次性 reward 生成”。CRWM 不是传统 world model，不主要预测 future observation；它试图建模 primitive reward components 到 task success / score 的因果拓扑，从而告诉 LLM 哪些 reward terms 应该保留，哪些应该剪掉。

这个想法理论上成立的前提是：同一任务族内存在可复用的 reward-relevant latent structure，并且该结构能通过 reward-weight intervention 与 trajectory-level structural variables 被识别到。与 prior 的本质区别在于，reward search 的计算被前移到离线多任务蒸馏，test-time 不再靠反馈迭代，而靠 causal prior 做结构约束。这不是让 LLM 更会推理，而是减少 LLM 需要推理的自由度。

Method

方法只需要抓住几个机制。

1. 共享 structural variable pool：把不同任务里语义等价的 reward components 归一成一组全局 physical variables。它解决跨任务结构学习的对齐问题，也是泛化成立的前提。没有这个 ontology，CRWM 无法跨任务聚合证据。

2. Macro intervention → coarse prior：通过改变 reward component 权重并观察最终 fitness，构造类似干预的数据，再用 causal foundation model 得到粗因果结构。它解决的是高维轨迹中直接 causal discovery 搜索空间太大的问题，但这个 prior 只能是粗的，因为它可能包含 hallucinated edges。

3. Micro trajectory refinement：用 structural-variable transitions 校正粗 prior。这里的关键不是预测 dynamics 本身，而是用轨迹证据判断哪些边稳定存在、哪些只是 macro 层面的伪相关。

4. EMD：把 invariant skeleton 和 transient state-dependent interaction 分离。它解决 manipulation 中短暂接触、碰撞、速度尖峰容易污染静态图的问题。保留下来的 M_inv 被当作 reward causal skeleton，而 transient component 只服务于重构，不直接进入 prompt。

5. Confidence-aware soft fusion：不用 coarse prior 做硬 mask，而是按置信度软约束。这个机制避免 foundation prior 的错误被永久锁死，是方法能超过 LLM-prior / hard-prior 的关键之一。

6. Causal-ARD：把学到的 graph 序列化为 causal topology prompt，让 LLM 只使用能到达 score 的 component。这里的 LLM 主要是代码合成器和变量适配器，不是核心 causal reasoner。

Key Insight / Why It Works

最重要的 insight 是：自动 reward design 的失败很多不是 reward coefficient 调得不好，而是 reward variable set 本身错了。一旦 spurious component 进入 reward，后续 RL 会非常擅长利用它；再好的 LLM mutation 也只是在错误搜索空间里补救。CRWM 的有效性主要来自提前缩小 reward term search space，而不是来自更强的语言推理。

我认为真正核心贡献是 EMD + soft prior 的结构蒸馏框架：它承认 coarse causal prior 有用但不可信，也承认 physical trajectory 有信息但会被 transient dynamics 污染。因此它把“稳定可迁移的 reward causality”和“状态依赖的局部物理机制”拆开。这比直接让 LLM 生成 causal graph 或直接从 trajectory 学静态 DAG 更合理。

哪些可能只是辅助：causal graph to prompt translation、2-means threshold、具体 LLM 选择、prompt directive 里的 causal pruning，大概率不是核心。它们是让 learned structure 进入 LLM 的工程接口。

哪些可能主要来自 scaling / data：离线阶段用了大量 policy-training runs，并且 reward components 来自 Eureka / URDP 这类已有 ARD 框架。所谓 zero-shot 是 deployment-time zero-shot，不是 training-free zero-shot。核心能力可能主要来自数据覆盖和 component ontology，而非模型形成了通用物理因果理解。

这篇论文的“reasoning”更像 structured retrieval / constrained generation：LLM 从 CRWM 给出的 causal prior 中选 term 并写代码，不是在 test-time 自主发现因果。这个判断不贬低方法，反而说明它为什么稳：把不可靠的 LLM causal reasoning 替换成离线结构记忆。

Relation To Prior Work

它最接近三条路线的交叉：LLM-based ARD、causal discovery / causal representation learning、world models。与 Eureka / Text2Reward 的差别在于，它不把环境反馈作为每个任务的 reward refinement loop，而是把多任务反馈压缩成可复用 causal prior。与 URDP 的差别在于，URDP 仍是 task-wise posterior correction / optimization，CRWM 则声称学习 task-irrelevant reward topology。

与传统 causal discovery 相比，它不是为了恢复完整 physical dynamics 的因果图，而是学习 reward-relevant skeleton；这点很重要，因为完整 dynamics 中存在反馈、惯性和瞬时接触，直接要求一个静态 DAG 反而不合理。与 world model 相比，它不是 prediction-first，而是 reward-design-first：模型服务于 component pruning，不服务于 planning rollout。

看似新的部分有一部分是已有思想重组：coarse prior + trajectory refinement、DAG regularization、confidence-weighted regularization、prompting LLM 使用 graph，这些单独看都不新。实质创新在于把它们组织成 ARD 的 amortized causal prior，并明确把“reward component selection”视为跨任务因果结构学习问题。

Dataset / Evaluation

评估覆盖了 Isaac Gym dexterous manipulation、ManiSkill2 跨 embodiment / cross-environment，以及真实机器人上的 offline trajectory reward alignment。整体设计是围绕核心 claim 的：CRWM 是否能在 held-out task 上减少 deployment-time search，同时保持 reward 有效性。消融也比较对症，尤其是 LLM-prior 替代 CRWM 后性能崩掉，支持“不是 prompt 本身带来的 gain”。

但 evaluation 的边界也明显。Dexterity 的 held-out tasks 与 pretraining tasks 属于同一任务族，变量池和物理结构高度共享；ManiSkill2 任务也被选择在 existing component pool 可覆盖的范围内。因此它验证的是 in-family / compositional generalization，而不是开放世界泛化。真实机器人实验只做 reward alignment AUC，没有真实 RL policy optimization 或 closed-loop deployment，更多证明 reward 函数能区分成功失败轨迹，不证明能在硬件上训练或控制。

此外，文中没有充分给出 causal graph recovery 的独立评估。最终因果结构是否正确主要通过 downstream policy SR 间接验证，因此“causal”更像一种有效 inductive bias，而不是被严格识别的物理因果真值。

Limitation

最大限制是零样本能力依赖昂贵离线预训练。它不是消除了 reward design 成本，而是把每个任务的 online search 成本集中到 task-family-level offline data collection。若未来任务数量足够多，这种 amortization 合理；若任务族变化频繁，成本优势会变弱。

第二，泛化被 component pool 明确上界限制。CRWM 只能重组已有 atomic reward components；如果新任务需要新物理变量、新对象属性、deformable dynamics、fluid interaction、工具使用语义或长时序约束，它没有机制自动发现这些变量。文中也承认需要 pool expansion，但这其实是方法的核心瓶颈。

第三，reward-weight intervention 的因果含义不完全干净。改变 reward 权重影响的是训练出的 policy，再影响 fitness；这里混入了 RL optimizer、探索、reward scale、policy class 和训练不稳定性。学到的结构可能是“在这个训练管线下哪些 reward terms 好用”，而不一定是环境物理因果结构。

第四，增益归因仍不完全清晰。CRWM 使用 ARD 框架预先抽取 reward components，并进行大量多任务训练；性能可能来自 hidden supervision、task family overlap、component normalization 和数据覆盖，而不完全来自 causal mechanism discovery。

第五，DAG skeleton 对 reward prerequisite graph 合理，但对真实物理 dynamics 过于简化。EMD 缓解 transient interaction，但最终 prompt 仍依赖一个离散化的静态 causal skeleton；对闭环、多阶段、需要条件分支的任务可能表达力不足。

Takeaway

• 1. ARD 的关键瓶颈应从“让 LLM 写更好的 reward code”转向“给 LLM 一个更可靠的 reward variable structure”。
• 这篇论文把 reward component selection 提升为一等问题。
• 2. 对 robotics reward design 来说，跨任务结构记忆比单任务 test-time search 更可扩展；未来更有价值的方向可能是 amortized reward priors，而不是更复杂的 LLM mutation loop。
• 3. 方法真正可迁移的 insight 是 mechanism decoupling：把稳定、可用于决策/生成的结构和瞬态、只用于解释轨迹的机制分开。

一句话总结

CRWM 是把 LLM 自动奖励设计从在线试错式 reward search 推向离线多任务因果结构蒸馏的一步，真正贡献在于用可复用的 reward-relevant causal prior 约束 LLM，而不是让 LLM 本身变得更会因果推理。