Awesome RL with Human Feedback / 2026 / OpenReview

Fair Reinforcement Learning for Just AI

作者：Ezgi Korkmaz · 来源：OpenReview · 发布日期：2026

偏好学习对齐目标设计多目标对齐人类反馈设计

精读笔记

Problem Setting

论文《Fair Reinforcement Learning for Just AI》（Awesome RL with Human Feedback / 2026）处理的是 pluralistic alignment 下的 fair policy aggregation：给定同一个 MDP 中 n 个 agent 的不同 reward functions，输出一个单一策略，使每个 agent 都能在其自身偏好排序下达到尽可能高的 quantile。

困难不在于多目标 RL 本身，而在于 reward scale 不可比。RLHF 或 preference learning 中 reward 只能确定到正仿射变换，因此直接优化加权和、Nash welfare、Gini、max-min 等数值组合都隐含了跨 agent reward calibration。Quantile fairness 的吸引力在于它只依赖每个 agent 对策略的相对排序，天然避开 scale comparability。

但已有 quantile fairness 方法卡在两个地方：第一，参考分布通常取整个 occupancy polytope 上的 uniform distribution，需要从高维凸体采样；第二，计算公平策略依赖显式 MDP 转移表和状态-动作规模的 LP。这与实际 RLHF/deep RL 的接口完全不匹配。实际系统只有 rollout、reward model、policy optimizer，而不是完整 transition table。

这篇论文的关键矛盾是：公平性要求知道某个策略相对于“所有替代策略”的排名；可扩展 RL 只能通过黑盒优化器找到高回报策略，不能枚举或均匀采样策略空间。作者的目标就是把前者改写成后者可处理的形式。

Motivation

作者对既有路线的批评是准确的：标准 RLHF 把多人偏好当作同一 ground-truth reward 的 noisy samples，本质上在建模阶段就消除了价值分歧；而社会选择式 policy aggregation 虽然保留了多偏好，但先前算法停留在 tabular/explicit MDP。

更重要的观察是：uniform over all policies/occupancy measures 在需要非平凡学习的环境里不是一个好基准。大部分随机策略只会得到接近零的 reward，因此相对于这个分布的高 quantile 可能并不代表真正好的公平折中，而只是“比垃圾策略好”。这会导致两个问题：quantile estimate sample complexity 指数级变坏；公平约束本身也变得语义上很弱。

所以缺口不是“还没有一个更快的 LP solver”，而是 quantile fairness 的 reference distribution 选错了。论文真正想补的是：找到一个既保持 reward-scale invariance、又能被 policy optimization oracle 高效访问、还不被低质量策略体积主导的公平比较基准。

Core Idea

核心想法是把公平比较的对象从整个 occupancy polytope O，换成由各 agent individually optimal policies 在 reward space 中张成的 polytope K*。具体说，先为每个 reward Ri 找到最优策略 π_i*，再把这些策略映射到 n 维 reward vector Φ(dπ_i*)=(J1(π_i*),...,Jn(π_i*))，最后在这些点的 convex hull 上定义 uniform distribution，用它来计算各 agent 的 quantile threshold。

这一步是论文的本质创新。它改变了 quantile fairness 的建模对象：不是问“这个策略比多少随机策略好”，而是问“这个策略在各方最优立场张成的冲突区域中处于什么位置”。这引入了一个明显但有用的 inductive bias：只在高价值、Pareto-relevant 的策略区域内比较公平性。这个 bias 让采样维度从 |S||A| 降到 n，也让参考分布由 policy optimization oracle 构造出来。

和 prior 的本质区别不只是更快，而是它放弃了原始 uniform-over-O 的社会选择语义，换成了 optimal-endpoint-induced distribution。这个选择牺牲了一部分“全策略空间中立性”，换来可计算性和更接近实际 RL 中有意义策略区域的比较基准。

Method

方法上最重要的不是算法细节，而是三个机制性转换。

第一，reward embedding。Occupancy measure 上的策略差异只有通过每个 agent 的 return 才影响公平判定，因此把 dπ 映射到 Φ(dπ) 后，问题从 MDP 几何转成 n 维 reward 几何。这一步解决了状态-动作维度不可扩展的问题，也解释了为什么后续算法复杂度主要依赖 agent 数 n。

第二，optimal occupancy distribution。通过 n 次单目标优化得到 π_i*，构造 K*=conv{Φ(dπ_i*)}，再在 K* 上采样估计 F_i,D^{-1}(q)。如果这些点线性独立，K* 是 simplex，可以精确快速采样；否则用 hit-and-run。这个机制解决的是 quantile threshold 估计问题，把原本对 O 的高维采样替换为对 K* 的低维采样。

第三，MWU-based feasibility。给定 q 后，先估计每个 agent 的 quantile threshold vi。然后把约束 Ji(π)≥vi 和 welfare constraint 通过 multiplicative weights 转成一系列加权 reward 最大化问题。每轮优化 ∑i weight_i Ri，本质上是用标准 RL oracle 做 separation/optimization。最终输出 mixed policy，并用 binary search 找最大 q，再找最大 welfare。

这里 binary search、采样 quantile、线性相关处理都是为了理论完整性；真正的计算接口变化是：fair policy aggregation 被还原成 O(n) 级别的单目标 RL 调用加若干低维几何操作。

Key Insight / Why It Works

最核心的 insight 是：原始 quantile fairness 的困难不是 fairness constraint 本身，而是 reference distribution 的体积病。整个 occupancy polytope 的 uniform measure 在高维 RL 中会被大量低回报策略支配；在这种分布下估计高 quantile 需要极大量样本，而且得到的 quantile 语义也弱。论文用 K* 重定义分布，相当于做了一次 aggressive support restriction，把概率质量集中到“各方最优策略之间的折中面”上。

这更像是 better inductive bias，而不是 scaling、retrieval、test-time compute 或 memory reuse。它不是通过更多样本覆盖策略空间，而是重新定义哪些 alternatives 值得比较。有效性来自两个事实：一是 individually optimal policies 可由标准 RL oracle 找到，因此 K* 可构造；二是 K* 在 reward space 中低维，quantile 可估计；三是 occupancy measure convexity 保证 reward-space convex combination 对应某种 mixed policy/occupancy mixture，从而 MWU 输出的 mixed policy 可以满足约束。

最可能的核心贡献是 reference distribution 的替换，以及由此带来的 oracle-efficient reduction。MWU 本身是标准工具，更多是把 feasibility problem 包装成 online convex optimization；它重要但不新。K* centroid 至少 1/e-quantile 且每人获得至少 1/n 最优值的理论结果，是为这个新分布提供语义合法性的关键，否则方法会显得只是人为换 benchmark。

需要警惕的是，这种方法的公平性上限由 K* 的表达能力决定。K* 只由 individually optimal endpoints 张成，假设真正有意义的公平解位于这些端点的凸包内或附近。这个假设在很多 convex MOMDP 表示里合理，但在实际策略参数空间、非凸训练和 reward model misspecification 下未必成立。换句话说，它解决的是计算可达性，不自动解决社会选择中的代表性问题。

Relation To Prior Work

最接近的是 Alamdari et al. 2024 的 policy aggregation 和 Babichenko et al. 的 quantile fairness。本文继承了“用每个 agent 的策略排序而非 reward 数值比较”的路线，但显著改写了计算模型和分布选择。Alamdari 的方法是 explicit-MDP + uniform occupancy polytope + LP；本文是 oracle-efficient + optimal reward embedding polytope + MWU。

和传统 multi-objective RL 的差别在于，它不试图定义一个可比较的社会福利函数来 scalarize rewards。Nash welfare、Gini、egalitarian、utilitarian 都需要 reward normalization 或跨 agent 数值比较；本文仍然停留在 ordinal/ranking-compatible 的框架内。这是它相对 MORL fairness 的实质差异。

和 RLHF/social choice 的 von Neumann winner、maximal lotteries、Borda-like aggregation 路线相比，本文更像是在 continuous policy space 中构造一个可计算的 quantile-share mechanism。它不是新的 preference model，也不是新的 human feedback learning 方法，而是一个 alignment objective / aggregation objective 的可优化化。

看似新的部分中，MWU、simplex sampling、hit-and-run、binary search 都是已有工具重组；实质创新是：指出 uniform over O 在 RL 中会体积退化，并提出以 individually optimal reward embedding polytope 作为 fairness distribution。这是一个建模层面的新增信息。

Dataset / Evaluation

评估使用 factory monitoring MDP，一个小规模多 agent 多 reward sequential decision 环境。它能覆盖论文关心的基本结构：多个 agent、有冲突 reward、需要输出单一策略、可与原始 max-quantile 方法比较。实验显示新方法在运行时间上远快于 prior，并且得到的公平/福利指标有竞争力。

但这个 evaluation 只支持有限 claim。它验证了在一个 tabular-ish benchmark 中，uniform over O 的 quantile 确实会退化，且 K* 分布更容易估计；也验证了 oracle-efficient 算法相比显式 LP 更实用。它没有验证 deep RLHF claim：没有真实人类偏好，没有多个 learned reward models，没有大状态空间 function approximation，没有语言模型 policy optimization，也没有部署式 fairness stress test。

因此实验更像理论 paper 的 consistency check，而不是全面 empirical validation。benchmark 没有足够覆盖跨场景泛化，也不足以说明该方法在真实 pluralistic alignment 中可靠。若作者声称“可直接插入 RLHF pipeline”，目前证据仍偏弱。

Limitation

第一，方法强依赖 individual reward functions 已经可得。现实 RLHF 中，多人反馈通常混在一起，如何学习多个代表性 reward model 是核心难题；本文基本绕过了它。这个问题不是工程细节，而是决定公平约束是否有社会意义的前提。

第二，policy optimization oracle 假设很强。理论上每轮能优化任意加权 reward；实际 deep RL 中这会受到 exploration、局部最优、reward hacking、policy collapse 和 evaluation noise 影响。oracle-efficient 不等于 sample-efficient deep RL。

第三，K* 可能过窄。individually optimal policies 的 convex hull 只代表极端立场之间的线性折中，可能遗漏一些非 individually optimal 但更稳定、更鲁棒或更可解释的 compromise policies。方法把“全策略空间公平”改成“K* 内公平”，这是主动改变问题，不只是高效近似。

第四，输出 mixed policy 在理论上自然，但实际 AI deployment 往往需要一个单一可解释、稳定、可审计的 policy。混合策略如何实现、是否会引入 temporal inconsistency 或用户层面不公平，文中未充分说明。

第五，实验归因不完全清楚。性能提升可能主要来自 reference distribution 更合理，也可能来自原方法在 uniform sampling 和 LP 上极其低效。对于真实高维任务，增益来源是否仍成立，需要更多证据。

第六，所谓 democratic/pluralistic alignment 的社会层问题没有真正解决。方法只给了 reward aggregation 一步的机制，不处理 population sampling、minority representation、strategic feedback、reward uncertainty、价值随时间变化等问题。

Takeaway

  • 1. 这篇论文最值得记住的是：fair RL 中 reference distribution 的选择不是技术细节，而是决定公平语义和可计算性的核心建模选择。
  • uniform over all policies 在 RL 中往往是坏基准。
  • 2. 把公平聚合限制到 individually optimal policies 张成的 reward-space polytope，是一个有迁移价值的 trick：先用单目标 optimizer 找到各价值维度的锚点，再在锚点张成的低维空间里做社会选择。
  • 3. 对 alignment objective design 来说，这篇推动的是“从单 reward consensus optimization 到 oracle-efficient pluralistic aggregation”的一小步；它没有解决 reward learning，但给了多 reward 已知时的可优化公平目标。

一句话总结

《Fair Reinforcement Learning for Just AI》把 quantile-fair policy aggregation 从显式 tabular LP 改造成基于 individually optimal reward-space polytope 和标准 RL oracle 的可扩展公平目标，是一次以 reference distribution 重建为核心的 alignment objective 设计演化。