精读笔记

Problem Setting

《Freeform Preference Learning for Robotic Manipulation》（arXiv preprint / 2026）处理的是长时程机器人 manipulation 中“奖励语义过窄”的问题。真实任务的好坏不是一个 success bit，也不是一个 overall preference 可以表达的：同一轨迹可能快但不安全，完成但粗暴，摆放正确但不正式。以前方法卡在两个地方：sparse reward 信号太晚、太稀；binary preference 虽然更 dense，但把多个评价标准压成一个不可解释标量，导致标注歧义和 reward credit assignment 错误。关键矛盾是：人类监督天然多维，而大多数 policy improvement pipeline 只能消费单维 reward。

Motivation

已有路线缺的不是更复杂的 RL 算法，而是更合适的反馈接口。机器人任务里，人类通常能清楚指出“这个更卫生”“那个更快”“这个放得更准”，但被迫回答“哪个整体更好”时会产生不可避免的 label noise。作者抓住的缺口是：preference learning 已经证明 pairwise feedback 比手工 reward 更可行，但它没有保留人类判断的 factorization；multi-objective RL 保留 factorization，但假设目标轴和 reward 预先给定。FPL 的动机就是把“评价轴的定义权”交给 annotator，并让这个结构贯穿 reward learning 和 policy learning。

Core Idea

核心思想是把 reward 从一个标量函数 r(trajectory) 改成一个语言条件的 reward family r(trajectory | preference axis)。这等价于把人类偏好里的 latent factors 显式化：speed、smoothness、placement quality、hygiene、carefulness 等不再竞争同一个 label，而是分别提供局部一致的监督信号。这样做的直觉基础很强：每个轴上的 pairwise comparison 更容易标、更一致，也更接近可学习的视觉-行为属性。

本质区别在于 FPL 不急着把多轴评价 scalarize。传统 preference learning 学一个“总体效用”；FPL 学一个可查询的评价场，然后训练一个条件策略去响应不同 reward profile。这个 inductive bias 使策略更像在学习行为流形上的控制旋钮，而不是在追一个固定 reward optimum。因此它天然支持 test-time steering，并在数据覆盖允许时支持跨轴组合。

Method

第一，freeform preference collection 解决的是监督歧义。对同一对轨迹，annotator 可以给多个轴上的偏好，甚至定义新的自然语言轴；这不是简单增加标签，而是把原本混在 overall quality 里的评价因子拆开。

第二，language-conditioned reward model 解决的是轴空间开放性。用自然语言作为条件，模型可以把“speed / fast / efficient”这类语义相近判断共享表示，而不是为每个固定类别训练独立 reward。它带来的核心变化是 reward 可按语义查询，而不是被固定 rubric 锁死。

第三，trajectory-prefix reward scoring 解决长时程 credit assignment。论文把轨迹级 reward 写成 prefix score 的累加，使模型可以在没有显式 subtask segmentation 的情况下形成更局部的进度信号。这个设计是否严格必要文中未充分说明，但从 setup table 的定性图看，它确实有助于 reward temporal localization。

第四，multi-axis reward-conditioned policy extraction 是方法的关键闭环。策略输入不只是状态和任务指令，还包括若干 preference axes 及其 reward values；训练目标仍是 supervised action likelihood，但条件变量变成了行为质量 profile。这样 policy extraction 避免了把 reward 平均掉，也避免了 AWR 式只强调高分轨迹而丢失低分行为对可控性的贡献。

Key Insight / Why It Works

我认为最核心贡献不是“freeform language”本身，而是把 preference supervision factorize 后，保留到 policy conditioning 阶段。单轴 preference 失败不是因为 BT loss 不好，而是因为 label 本身不可一致；一旦把 label 放到明确轴上，reward learning 的噪声结构会大幅改善。换句话说，FPL 的有效性主要来自 better inductive bias：人类评价维度被显式建模，reward model 不需要从一个混乱总分中反推出隐藏因素。

第二个有效原因是 data reuse。一次观看轨迹对可以产生多个 axis-level labels，标注成本按 label 算下降；更重要的是同一批轨迹被不同评价轴重新解释，数据密度变高。这部分增益可能既是方法贡献，也有 engineering / data scaling 成分。尤其 real-world 结果中，FPL 相比 single preference 拥有更结构化且更丰富的 supervision，增益不应完全归因于算法形式。

第三个有效原因是 reward-conditioned policy 保留了负例和低分行为。Filtered BC 只看成功轨迹，AWR 倾向把多轴 reward 聚合后加权；FPL 则让 policy 看到同一行为在不同轴上的高低分，从而学到“如何改变某个维度”。这解释了 steerability：不是策略会推理用户意图，而是它在训练时学过 reward profile 与轨迹风格的关联。

compositionality claim 需要谨慎。bimodal square 的 fast-right 组合很漂亮，但更像 latent factor recombination：speed factor 来自 left trajectories，right-peg factor 来自 slow right trajectories，policy 在共享动作空间中插值/重组。它不是证明了强 out-of-distribution planning，而是证明了多轴 reward conditioning 在有覆盖的行为原语上能组合。若数据中没有对应 motion primitives，FPL 未必能外推。

语言条件 reward 的作用可能被高估。真实任务中使用 Qwen-VL backbone 确实提供 representation alignment，但仿真中固定 head 也能得到核心结果，说明主要机制不是自然语言泛化，而是多轴分解 + 条件策略。语言更像一个 scalable interface，而不是 compositionality 的唯一来源。

Relation To Prior Work

最接近的谱系是 RLHF / preference-based RL、reward-conditioned policy、multi-objective RL 三条线的交叉。相对 Christiano-style preference learning，FPL 的本质变化是从 single latent utility 转成 axis-conditioned reward family；这改变的是监督建模假设，而不是 BT loss 本身。BT 目标仍然是标准的，只是条件变量从无变成了 language axis。

相对 multi-objective RL，FPL 不假设 objective set 和 reward function 预定义，而是从人类 freeform preference 中诱导 objective axes。这里的实质创新是 elicitation interface 和 reward learning 的结合，而不是 Pareto optimization 技术。

相对 reward-conditioned policy / Decision Transformer / upside-down RL，FPL 的不同点是 condition 的不是单一 return，而是多维、语义化的 reward profile。这个改动看似小，但对 steerability 很关键：单 scalar return 只能控制“多好”，多轴 return 可以控制“哪方面好”。

一些看似新的部分其实是已有思想重组：BT preference loss、VLM reward model、reward-conditioned supervised policy extraction 都不是新算法。真正新增的信息是：让人类评价轴以自然语言形式进入 reward model，并且不在 policy extraction 前 scalarize。这是结构设计上的贡献，不是优化算法贡献。

Dataset / Evaluation

评估覆盖四个真机任务和两个仿真任务，强于很多只在仿真或短任务上验证 preference learning 的工作。真机任务包含 deformable object、tool use、table setup、target steering，能覆盖一部分长时程和多质量维度需求；仿真任务则更像诊断实验，用来隔离 compositionality 和 steerability。

实验基本支持核心 claim：多轴偏好在长时程任务上优于 sparse success 和 overall preference；reward-conditioned 多轴策略比 reward 聚合更适合 test-time steering。尤其 bimodal square 和 cube-to-bowl 是为核心机制设计的 probe，验证较直接。

但 evaluation 也有明显 limitation。第一，real-world 每个方法 rollout 数量有限，且任务仍是实验室受控环境，不等于开放部署。第二，freeform axes 在部分任务是预定义的，真正 open-ended 的证据主要来自 plate toast 和迭代标签分布，开放性强度有限。第三，增益归因不完全干净：FPL 同时改变了标签结构、标签数量/效率、reward 表示、policy conditioning 和迭代数据收集。matching-label baseline 有帮助，但不足以完全分离这些因素。第四，steerability benchmark 本身与训练轴高度对齐，不能证明自然语言新目标的零样本可控。

Limitation

最大的隐含前提是数据覆盖。FPL 能组合 speed 和 target，是因为数据里分别有 speed 变化和 target 变化；如果某个轴对应的行为原语从未出现，reward conditioning 很可能只能选择已有模式，而不能发明新技能。所谓泛化更接近 retrieval / interpolation over behavior manifold，而不是真正 causal planning。

第二，轴集合管理仍未解决。论文说 annotator 可以 freeform 指定轴，但 policy training 需要选择固定 Kπ 个 representative axes；这一步是人工或自动总结，文中未充分说明其鲁棒性。随着任务变复杂，轴会爆炸、同义轴会漂移、冲突轴会增多，FPL 需要一个更系统的 axis ontology 或 online axis grounding。

第三，test-time reward target selection 是被转移出去的问题。用户想要“更安全但不要太慢”时，具体 reward 数值如何设定？标准化 reward 只解决尺度，不解决目标选择。当前方法仍需要人工 prompt / reward profile 调参，自动化程度有限。

第四，reward model 本身可能继承 VLM 的视觉偏差和 spurious correlation。比如 hygiene、carefulness、damage 这类轴并不总是可从短视频可靠判断；如果 reward model 学到 proxy，policy 优化会放大 proxy。论文没有系统分析 reward hacking 或 adversarial optimization 下的稳定性。

第五，增益来源不清。真实任务中 FPL 使用强 VLA、VLM reward、迭代 rollout、人类多标签反馈；这些都可能贡献性能。论文的 ablation 能说明多轴结构重要，但不能完全排除 scaling / data efficiency 是主要因素之一。

Takeaway

• 第一，机器人 preference learning 的下一步不应继续执着于更好的单标量 reward，而应把人类评价的 factor structure 保留下来；这篇论文把这个方向讲得很清楚。
• 第二，多轴 reward 最有价值的地方不是 reward accuracy 本身，而是给 policy 提供可控的行为坐标系。
• reward-conditioned policy 在这里从“离线 RL trick”变成了 preference interface 的执行端。
• 第三，freeform language 是 scalable interface，但核心不是语言理解炫技；真正可迁移的 insight 是：让 annotator 用自然评价维度提供局部一致监督，比要求他们做全局偏好排序更可靠。

一句话总结

FPL 是把机器人 RLHF 从单一总体偏好推进到语言化多目标偏好建模的一步，真正贡献在于保留人类反馈的评价结构并让策略直接条件化使用它，而不是发明新的 RL 优化算法。