精读笔记

Problem Setting

论文标题：AlignDiff: Aligning Diverse Human Preferences via Behavior-Customisable Diffusion Model（Awesome RL with Human Feedback / 2024）。

这篇论文处理的不是传统 RLHF 中“从偏好学 reward 并优化一个策略”的问题，而是更接近 user-controllable policy / behavior customization：用户在测试时可以指定若干行为属性及其强度，agent 需要立即切换到对应行为，而不重新训练。

真正困难点有两个。第一，偏好是轨迹级的：speed、jump height、torso height 还可以用物理量近似，但 humanness、leg preference、stride style 这类属性明显不是单步 state-action reward 能稳定表达的。第二，偏好是可变的：如果每个目标属性组合都需要 fine-tune policy，那么 alignment 只是离线 reward learning，不是交互式定制。

以前方法主要卡在建模粒度和适配机制上。RBA 把偏好拆成 relative behavioral attributes 是对的，但仍倾向于把属性评价蒸馏到 reward / policy learning 中；BC/DT 可以 condition on goal，但对多模态行为分布容易平均化或模式坍缩；offline RL 需要一个可优化 reward，但抽象属性 reward 本身就是瓶颈。关键矛盾是：用户想控制的是连续、多维、抽象、可组合的行为属性，而策略学习通常给出的是单一目标下的固定动作映射。

Motivation

作者的动机不是再做一个更好的 reward model，而是绕开“每个偏好都重新优化 policy”的路线。核心缺口是：已有 RLHF 能把人类判断变成 reward，但不能自然支持快速切换；已有 conditional policy 能接受目标输入，但表达能力和多模态覆盖不足；已有 diffusion planning 能生成轨迹，但缺少可由人类偏好定义的条件变量。

因此作者把问题拆成两个较干净的子问题：一是用人类比较把抽象偏好量化为可条件化的属性强度；二是在离线行为分布上学习一个条件生成模型，使属性强度成为检索和组合行为的坐标。这个方向的合理性来自一个隐含假设：复杂偏好不是任意 reward，而可以被少数相对行为属性低维表示；离线数据中已经存在这些属性的足够变化。

Core Idea

AlignDiff 的核心思想是把 alignment 从 reward maximization 改成 behavior distribution steering。先学习一个轨迹到属性强度的映射，把人类对行为的比较判断嵌入到一个连续属性空间；再训练一个属性条件 diffusion model，在这个空间内生成轨迹。测试时用户给目标属性，模型不是通过 RL 更新策略，而是在学到的轨迹流形上采样候选，并用 attribute model 选出最对齐的计划。

本质区别在于信息流被重新组织了：人类反馈不直接塑造 policy gradient，而是定义一个行为坐标系；离线数据不只是 imitation supervision，而是形成可按属性寻址的行为库/流形；diffusion 不是为了求最优 return，而是为了保持多模态行为并支持条件组合。这个 inductive bias 比单策略回归更适合多偏好控制，因为它允许同一状态下存在多个合理动作模式，而不是被 MSE/BC 压成平均行为。

Method

关键机制可以压缩为三点。

第一，轨迹级 attribute strength model。它解决的是抽象属性无法单步标注的问题。用 pairwise comparison 和 Bradley-Terry 目标学习相对强度，本质上把人类 ordinal judgment 转成连续控制坐标。这里重要的是 trajectory-level，而不是 Transformer 结构本身；如果属性是长期行为模式，单步 reward model 会天然错配。

第二，属性条件 diffusion planner。它解决的是多模态行为建模和偏好切换问题。相比 goal-conditioned BC 或 DT，它不是直接输出一个动作，而是生成一段未来轨迹；相比 offline RL，它不需要为每个属性组合学习最优 Q。核心变化是策略从 deterministic/regression policy 变成 conditional generative planner。

第三，mask + reranking。mask 让用户只控制关心的属性，避免未指定属性被错误约束；reranking 用 attribute model 在采样候选中做 test-time selection。这个步骤很关键，因为它把 diffusion 的生成能力和 preference metric 结合起来，也引入了额外 test-time compute。自然语言接口只是把文本映射到属性变化，机制上不是本文核心。

Key Insight / Why It Works

我认为真正有效的部分有三层。

第一是 representation alignment：人类反馈没有被压成一个标量 reward，而是变成多维属性空间。这比单 reward 更适合表达“快一点但低一点”“像人但慢一点”这类组合偏好。attribute strength model 是本文最实质的 alignment 接口，因为它定义了用户语言/判断与行为分布之间的公共坐标。

第二是 diffusion 的多模态保持能力。多偏好控制的难点不是某个目标下拟合动作，而是同一状态和相近历史下可能有很多风格完全不同但都合法的未来。BC/DT 容易学到平均动作或偏向数据主模态；diffusion 在轨迹层面建模分布，天然更像 conditional retrieval + interpolation。这也是为什么它在 Walker/Hopper 上优势明显。

第三是 test-time compute。AlignDiff 不是单次前向给动作，而是采样多条候选轨迹，再由 attribute model 选择。这个 reranking 很可能贡献很大；它让模型即使条件生成不完美，也可以通过候选筛选逼近目标。换言之，部分 alignment 能力来自生成-评估闭环，而不是 diffusion 网络一次性“理解”偏好。

需要直接指出：所谓 zero-shot behavior customization 大概率主要是数据覆盖 + 条件生成 + reranking 的结果，不是开放泛化。论文展示的 unseen downstream tasks 更像把已有 locomotion style 重新组合到新环境中，而不是形成真正任务级 planning。若离线数据没有覆盖相关技能或属性组合，方法没有机制保证外推。增益来源中 diffusion architecture、数据规模、attribute model、候选数之间的归因也不够清楚。

Relation To Prior Work

最接近的技术谱系有三条：RBA / preference attribute learning、offline conditional policy learning、diffusion planning。

相对 RBA，AlignDiff 的实质差异是从 reward-conditioned policy optimization 转向 attribute-conditioned trajectory generation。RBA 的强项是把偏好拆成属性，但弱点是仍依赖 reward model 和后续策略训练；AlignDiff 直接把属性作为生成条件，并在测试时切换，无需重新训练。这是本质不同，不只是实现替换。

相对 Decision Transformer / RvS / goal-conditioned BC，AlignDiff 的差异在于生成完整轨迹分布而非单步动作回归。这里的新意不是“用 Transformer”，而是用扩散模型保留行为多模态，并让属性条件成为分布选择器。

相对 Diffuser / Decision Diffuser，AlignDiff 的新增信息是偏好定义的条件空间。传统 diffusion planning 多以 reward、return、goal 或 task condition 作为条件；本文把 RLHF 学到的 relative behavioral attributes 接到 diffusion planner 上，使人类偏好成为可采样的轨迹条件。

看似新的部分中，语言接口基本是已有 embedding retrieval；DiT/DDIM/CFG 也是已有组件。实质创新是把轨迹级偏好量化、属性条件生成、测试时 preference reranking 组合成一个可交互切换的 alignment pipeline。

Dataset / Evaluation

评估覆盖 Hopper、Walker、Humanoid 等模拟 locomotion，属性包括速度、高度、步幅、左右腿偏好、humanness。任务选择适合展示行为风格控制，因为这些环境的行为属性可视化明显、可通过离线数据收集多样策略，也容易做人类排序。

实验基本支持作者的核心 claim：在预定义属性空间内，AlignDiff 比 BC/DT/offline RL-style baseline 更能匹配目标属性，并且能在同一 episode 中切换行为。人类评估也确实说明 human labels 对抽象属性有价值，尤其 humanness。

但 evaluation 的边界很明显。第一，没有真实机器人或真实用户在线交互部署。第二，任务都是 locomotion style control，不是复杂长程任务规划。第三，部分指标依赖同一个 attribute strength model 做评估，存在 learned evaluator bias；虽然有人类排序补充，但仍是在受控视频排序中验证属性强弱，而不是验证真实偏好满足。第四，所谓 unseen tasks 仍然是同一动力学机器人上的下游地形/障碍任务，不能证明跨域泛化。整体评估证明了“属性条件行为生成”有效，但没有证明开放式人类偏好 alignment。

Limitation

最核心限制是属性空间预定义。用户偏好被假设可以投影到少数属性及其强度上；一旦偏好超出这些属性，系统没有表达能力。这个问题不是工程细节，而是方法边界。

第二，方法高度依赖离线数据覆盖。diffusion planner 只能在数据行为流形附近采样和插值。论文中“填补 disconnected region”看起来像组合泛化，但没有证明在强 OOD 属性组合下仍可靠。核心能力可能主要来自数据覆盖，而不是 planner 的外推推理。

第三，attribute strength model 是瓶颈也是潜在偏置源。若人类标注噪声大、属性定义含混或 annotator disagreement 高，整个 pipeline 会把这种偏差固化为控制坐标。humanness 已经显示出更低一致性；更复杂社会偏好只会更严重。

第四，inference 慢且依赖采样候选。作者承认 diffusion planning 有速度问题，但更深层问题是：性能可能随采样步数、候选数、reranking evaluator 强度显著变化。若计算预算下降，alignment 质量可能明显退化。

第五，自然语言控制被明显简化。Sentence-BERT + instruction corpus 只是把文本映射到 increase/decrease 某个属性，不是 language-conditioned policy，也不能处理组合语义、上下文约束或新概念。

第六，长期 planning claim 不强。生成 horizon 是固定短/中程轨迹，MPC 式执行第一步；这更像局部行为风格控制，而不是长期目标规划。gap-crossing 展示有趣，但不足以说明形成了新的任务推理能力。

Takeaway

• 1. 值得迁移的 insight 是：对多样人类偏好，先学一个可组合的行为属性空间，再在该空间内做条件生成，往往比直接学 reward 更自然。
• 2. diffusion 在这里的价值不是“更强 policy class”这么泛泛，而是保留多模态轨迹分布，使偏好控制更像在行为流形上寻址、插值和重组。
• 3. RLHF 不一定要输出 reward；它可以输出 evaluator / coordinate system / critic，并在 test-time 与生成模型闭环。
• 这条路线可能比传统 reward-model-then-RL 更适合可变偏好。

一句话总结

AlignDiff 是把 RBA 式偏好属性学习与 diffusion trajectory planning 结合起来的离线多偏好行为定制方法，真正贡献在于把 alignment 从重训 reward policy 转成可按人类属性坐标寻址的条件行为生成。