Awesome RL with Human Feedback / 2026 / OpenReview

Translate Policy to Language: Flow Matching Generated Rewards for LLM Explanations

作者：Xinyi Yang, Liang Zeng, Heng Dong, Chao Yu, Xiaoran Wu, Huazhong Yang, Yu Wang, Milind Tambe, Tonghan Wang · 单位：AIPD, Tencent, Shenzhen, China, IIIS, Tsinghua University, Beijing, China, EE, Tsinghua University, Beijing, China, CS, Tsinghua University, Beijing, China, SEAS, Harvard University, Cambridge, USA · 来源：OpenReview · 发布日期：2026

奖励建模策略优化可解释性

精读笔记

Problem Setting

《Translate Policy to Language: Flow Matching Generated Rewards for LLM Explanations》（Awesome RL with Human Feedback / 2026）关注的不是一般意义上的 rationale generation，而是 behavioral explanation：给定某个 agent policy 的上下文，让一个 LLM 生成解释，使第三方能从解释中恢复该 policy 的真实决策。

真正困难点在 reward，而不是 generation。解释是否好，并没有唯一标签；不同人可能从同一段解释中推断出不同决策，且这种判断是概率性的。传统 RLHF 可以让人直接评，但成本高且多样性不足；RLAIF 可以用 LLM judge，但 judge 的错误会直接成为 policy optimization 的目标，尤其在解释任务中会产生“看起来合理但指向错误决策”的 reward hacking。

关键矛盾是：解释需要 faithful enough to recover policy，但 reward provider 本身只能提供 noisy, subjective, distributional feedback。以前方法要么把反馈压成一个标量，要么做 pairwise preference，要么离散化多偏好分布；它们都没有正面处理 proxy reward 与真实 human reward distribution 之间的偏差。

Motivation

作者的核心观察是：解释评估天然是 distributional 的。一个解释的质量不是“好/坏”，而是它让第三方把概率质量放到真实决策上的程度。直接训练一个 deterministic reward model 会丢掉这层结构；直接用 proxy LLM logits 又会继承 LLM judge 的系统误差。

因此缺的不是更强 judge，而是一个能从 noisy AI feedback 中学习 reward distribution 的中间层。论文把 proxy LLM feedback 看成真实 human reward distribution 经过噪声污染后的观测，然后用 flow matching 学一个条件生成过程。这个动机比“用 diffusion/flow 做 reward model”更重要：它试图把 RLAIF 中 AI feedback 的不可靠性变成一个可建模的误差过程。

这个方向之所以自然，是因为 reward 本身是连续 logit/probability 空间上的分布，而 CNF/RF 正好擅长从简单 base noise transport 到复杂条件分布。相比 quantile/categorical reward modeling，它避免了把 explanation feedback 离散化。

Core Idea

论文真正的核心是：用 rectified flow 作为条件 reward generator，而不是 reward scorer。给定 context 和 explanation，flow 从 base noise 生成一个候选决策 logit vector 的分布；真实决策对应的 logit 表示该解释让真实决策变得可推断的程度。于是 reward 不再来自某个 proxy LLM 的一次判断，而来自一个拟合多 proxy feedback、并带有去噪 inductive bias 的生成分布。

这个建模方式改变了 RLAIF 的角色分工：proxy LLM 只负责提供 noisy samples，policy update 不直接相信 proxy LLM；flow model 学习在语言条件下生成 reward distribution，理论上如果 base distribution 与 proxy noise 同形，则 learned flow 对真实 human distribution 的偏差有界。直觉上，flow 承担的是“把 proxy judge 的 noisy logits 映射回更稳定的决策可推断性分布”。

本质差异不是用了 PPO，也不是用了 cross-attention，而是把 reward learning 从判别式偏好拟合转成了 conditional distribution transport。这个 inductive bias 适合解释任务，因为解释质量本来就体现在概率质量如何随着解释句子逐步迁移到真实决策上。

Method

方法的必要机制可以压缩成四点。

1）隐藏真实决策训练 explanation LLM。它解决的是 trivial explanation 问题：如果模型看到真实动作/答案，最优策略可能只是复述决策，而不是解释为什么该决策从 context 中可恢复。隐藏决策让解释必须承载 policy behavior 的可推断信息。

2）用 proxy LLM logits 构造 reward samples。对每个候选决策，proxy LLM 给出该决策在“context + explanation + therefore decision is ...”下的 logit。多个 proxy LLM 的 logits 形成反馈样本。这里 reward 的对象不是文本好坏，而是解释把 evaluator 的 posterior 推向真实决策的能力。

3）用 rectified flow 拟合条件 logit distribution。flow 的输入是 noise 和条件信息，输出候选决策 logit vector。真实决策 logit 的均值用于 PPO reward；逐句加入解释时真实决策概率的增量用于 sentence-level reward。核心变化是 reward 从 point estimate 变成 sampleable distribution。

4）用语言条件 cross-attention 让 flow 读取 context/explanation 表示。普通 flow 网络无法理解解释中的语义线索；把 flow tokens 接入 LLM hidden states 后，reward model 才可能区分“解释其实指向正确决策但 proxy LLM 误判”的 false negative 与真正无效解释。这个设计不是装饰模块，而是 reward model 泛化到负样本的关键。

训练流程上的 alternating optimization、LoRA、softmax logits、rejection sampling 等更多是工程实现。rejection sampling 有帮助，但它也意味着 flow 主要在高置信 positive 区域学习，再依赖表示泛化去处理 negative samples。

Key Insight / Why It Works

最值得重视的 insight 是：解释优化中的 reward noise 不是普通 label noise，而是 evaluator posterior 的分布偏移。一个解释可能在人类看来足够清楚，但某个 proxy LLM 因措辞、知识或格式偏好而误判；直接用 proxy reward 会惩罚这类 false negative，从而把 explanation policy 推向 proxy LLM 喜欢的表达，而不一定是人类更可推断的表达。flow reward 的价值在于它有机会把这些局部误判平滑掉。

我认为真正有效的部分很可能是三者叠加：multi-proxy logits 提供了比单标量更丰富的软监督；flow distribution modeling 提供了对 noisy logits 的平滑/去噪 inductive bias；cross-attention 让 reward model 基于语义线索泛化到 proxy 未正确处理的样本。三者中，cross-attention + distributional logits 可能比 RF 本身更关键。换成 diffusion/score model 也许类似；甚至强的 conditional generative reward model 可能都能达到相近效果。RF 的主要优势是推理快和训练稳定，而不是唯一必要。

sentence-level reward 更像 reward shaping / curriculum：把长解释的最终可推断性拆成局部信息增益，降低 PPO credit assignment 难度。它确实合理，但不是论文的理论核心。SFT initialization 和 o1-mini synthetic preferred explanations 也非常重要；没有 SFT 时性能明显下降，说明方法不是从零学会 policy explanation，而是在强数据先验上进一步优化。

理论部分给出的 Wasserstein bound 只在特定噪声假设下成立。这个 bound 的技术意义是说明“如果 proxy feedback = human feedback + 与 base noise 同形的 corruption”，flow 可以把不可避免 proxy bias 变成可控误差。但真实 LLM judge error 很少是 zero-mean Gaussian additive noise，更多是语义、格式、知识和答案先验导致的结构性偏差。所以理论更像解释为什么 flow 是合理 inductive bias，而不是严格证明实际 reward 更接近人类。

需要警惕 evaluation bias：GPT-4o 作为 evaluator 判断解释能否推出答案，proxy LLM 也来自同类模型族，训练数据又由 o1-mini 生成。这里可能存在 shared linguistic prior：方法优化的是“让强 LLM evaluator 更容易从解释中猜答案”，而不完全等价于人类 policy understanding。人评结果缓解但没有消除这个问题，尤其人评规模和任务覆盖有限。

Relation To Prior Work

这篇最接近三条线：natural language policy explanation、RLAIF reward modeling、distributional reward models。

相对传统 XRL / policy explanation，它不试图抽取 agent 内部机制，也不构造可解释 surrogate policy；它做的是 behavioral faithfulness：解释是否足以恢复输入-输出行为。这个选择使其跨 RL agents 和 LLM tasks 更通用，但也放弃了 mechanistic faithfulness。严格说，它解释的是 policy function 的可预测性，而不是内部因果过程。

相对 RLHF/RLAIF，它的新增信息是 reward distribution generation。普通 PPO/DPO/KTO/Skywork 路线仍把偏好当作 pairwise 或 scalar signal；这里把候选决策 posterior 作为连续分布建模，并通过 flow 显式吸收 proxy noise。这是实质创新。

相对 QRM/DPRM/URM 等 distributional reward work，它的区别在于不把偏好离散化，也不限制在 Gaussian/quantile 等简单形式，而是用 ODE generative model 表达任意条件分布。不过“用生成模型建 reward 分布”本身是已有思想的自然延伸；论文的新组合在于把它放到 explanation-as-policy-recovery 任务里，并设计了与 LLM hidden states 交互的 flow reward。

相对 CoT/ReFT/STaR，它不是让模型通过更长 reasoning 自我改进，而是优化解释对第三方决策恢复的 causal usefulness。CoT 类方法重在生成过程，本文重在 reward 对解释功能的定义。

Dataset / Evaluation

评测覆盖了 RL 决策解释、embodied planning 场景和 LLM multiple-choice QA，表面上支持 task-agnostic claim。SMAC 和 AI2-THOR 用于证明方法不仅适用于问答，也能解释 sequential policy；MMLU/MathQA 用于验证在语言推理任务上的泛化。多 backbone ablation 说明方法不是只绑在单一 LLM 上。

但这些 benchmark 仍主要是离线、有限候选集、文本化上下文。即使是 SMAC/AI2-THOR，最后也被转成 candidate action classification 和 textual explanation inference。它没有验证真实机器人、人机协作中的在线解释效用，也没有验证开放动作空间或连续控制。

核心 claim 是“flow reward 更接近 human judgment”。实验更直接证明的是“flow reward 训练出的解释更容易被 GPT-4o/人类从中推断出 ground-truth decision”。这与 human reward distribution recovery 相关，但不是同一件事。论文没有直接收集大规模多人 reward distribution 来测 W2/校准误差，因此 theoretical claim 与 empirical claim 之间仍有缺口。

合成数据由 o1-mini 生成 preferred/rejected explanations，这让训练集质量较高，但也引入风格先验。baseline 同用该数据，公平性尚可；但对“是否真正学会解释 policy”而言，这意味着模型可能学到的是 o1-mini 风格的答案指向性解释模板。

Limitation

最大的限制是前提强。方法假设 proxy LLM feedback 是真实人类 reward 的加噪版本，并且噪声与 flow base distribution 在函数形式上匹配。现实中 proxy LLM 错误常是系统性的：偏好某种措辞、被选项先验诱导、对领域知识误解、或与人类判断标准不同。这类偏差不是简单高斯噪声，flow 未必能去除，甚至可能学习并强化。

第二，所谓解释的 faithfulness 是 behavioral，不是 mechanistic。模型能生成让人猜中动作的文本，不代表文本对应 agent 内部决策机制。对于 LLM agents 或 RL policies，这一点尤其重要：它可能只是找到输入到输出的可预测相关性，而不是解释真实因果链。

第三，scalability 依赖候选决策集。本文 reward 是候选动作/答案 logits 的分布，天然适合 discrete finite action 或 multiple-choice。开放式生成决策、连续动作、多步计划中的中间目标选择，都需要重新定义 candidate set，否则 reward 不可用或成本爆炸。

第四，数据依赖很重。SFT 后再 RL 是必要条件；无 SFT 时性能显著下降，说明核心能力可能主要来自 synthetic data coverage 和 backbone prior，flow reward 是在其上做 refinement。论文没有充分隔离 o1-mini 数据质量、multi-proxy ensemble、rejection sampling、flow architecture 各自贡献。

第五，泛化可能被高估。AI2-THOR 扩展任务由 GPT-4o 生成，训练解释由 o1-mini 生成，评测又用 GPT-4o 推断；这套闭环可能共享强语言模式。真实 deployment 中，人类用户、非标准表述、噪声传感器和 agent 隐状态会显著破坏这种模式。

Takeaway

  • 1）解释任务里的 reward 应该建模为“第三方 posterior 如何随解释变化”而不是简单好坏标签；这是可迁移到 instruction following、tool-use explanation、safety justification 的重要视角。
  • 2）RLAIF 的关键问题不是有没有 AI feedback，而是如何不被 proxy judge 的系统误差绑架。
  • 把 proxy feedback 当 noisy samples，再用生成式 reward model 学分布，是一条值得继续推进的路线。
  • 3）这篇真正推动的是 conditional distributional reward modeling for explanation optimization，而不是新的 RL 算法。

一句话总结

这篇论文把 policy explanation 的训练瓶颈重新定义为 noisy distributional reward recovery，并用 flow-matching reward generator 替代直接 LLM judge，是 RLAIF 从标量偏好优化走向生成式 reward 分布建模的一步。