Awesome RL with Human Feedback / 2026 / OpenReview

Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback

作者：Gihoon Kim, Euntai Kim · 单位：Yonsei University, Korea Institute of Science and Technology · 来源：OpenReview · 发布日期：2026

奖励建模偏好学习个性化对齐人类反馈设计

精读笔记

Problem Setting

这篇论文的真实问题不是“如何做 personalized RLHF”这么宽，而是：在基于 latent user representation 的 personalized reward modeling 中，latent 是否真的承载了用户差异。VPL 的形式看起来解决了单一 reward 假设：每个用户有 q(z|D_h)，reward 变成 r(x,y,z)。但在复杂文本偏好里，ELBO 本身并不保证 z 被使用；强 decoder 可以直接从 x,y 中解释大部分偏好统计，KL 又持续鼓励 posterior 靠近 prior，最终得到一个数学上合理但个性化失败的解。

真正困难点在于偏好数据同时稀疏、噪声大、语义复杂，而用户差异往往只体现在少量 pair 的相对选择中。encoder 要从少数 comparison 中压缩出稳定 user latent；decoder 却拥有完整 prompt-response 表示，天然可以绕开 latent。这个任务的关键矛盾就是：个性化需要 latent 成为必要路径，但标准 variational objective 没有让 latent 成为必要路径。

Motivation

已有 VPL 路线的问题不是 expressive 不够这么简单，而是目标函数允许 collapsed solution。作者观察到，在 Pets 这种简单偏好数据上，VPL latent 可以按用户类型分开；但在 UF-P 这类多 prompt、多 response、多 preference dimension 的数据上，latent 会合成一团，active units 归零，posterior 接近 prior。这说明 personalized alignment 里常说的 user latent，在复杂场景下可能只是一个装饰变量。

最关键的观察来自 swap experiment：如果把同一用户的所有 chosen/rejected 对调，构造一个 fictitious opposite annotator，那么在 non-collapse 情况下，posterior mean 会近似反号，而 log-variance 基本保持不变；collapse 情况下两者都没变化。这个观察给出一个缺失的 inductive bias：偏好 pair 本身带有反转对称性，encoder 应该对这种结构有响应。SPL 就是把这个现象从诊断信号变成训练约束。

Core Idea

SPL 的核心思想是：不要只让 encoder 从用户偏好数据中自由学习 latent，而是显式规定“偏好反转”在 latent 空间中应该如何表现。具体说，原用户和 swap 用户应形成镜像结构：mean 反向，uncertainty / variance 保持。这样做等于给 user latent 加了一个几何语义：某些方向表示 preference direction，另一些成分表示与 swap 无关的背景或不确定性。

这和 VPL 的本质差异在于，VPL 只引入 latent variable，但没有约束 latent 必须对应什么可辨识结构；SPL 则利用 pairwise comparison 的反事实构造，把 latent 的一部分语义锚定到 preference reversal 上。它不是单纯扩大 posterior family，而是重新组织 preference 信息流：从 observed pair 到 swapped pair，再到 mirrored latent，再到 conditioned reward。这个 inductive bias 使得 decoder 更难完全忽略 z，因为 z 被训练成捕捉 reward decision 中最容易被 x,y 表示吞掉的那部分用户方向性差异。

Method

方法里最必要的机制是 swap-guided regularization。它解决的是 base Gaussian posterior 无语义、易塌缩的问题。通过约束 μ_h 与 μ_h_swap 方向相反、log-variance 保持一致，模型被迫把“选择方向”编码进 mean，把 swap-invariant 的不确定性或背景因素留在 variance。这不是为了好看地分 cluster，而是为了让 posterior 至少在最基础层面上对 preference reversal 有非平凡响应。

P-IAF 解决的是另一个问题：如果只在 Gaussian base 上加约束，posterior 表达能力不足；但如果直接用普通 IAF，flow 可能把 swap-reversal 和 swap-invariant 信号重新纠缠，破坏镜像结构。P-IAF 将 context 分解为 c_d=(c-c_swap)/2 和 c_s=(c+c_swap)/2，并分别控制 shift 与 scale。机制上，它把“方向性偏好”主要交给 shift，把“背景/尺度/不确定性”交给 scale，减少普通 flow 中的 leakage。

adaptive latent conditioning 的作用更偏 decoder 侧：不是把 z 当附加 token 或简单拼接，而是用 z 调制 prompt-response embedding。它解决的是强 decoder 仍可能忽略 latent 的问题。我的判断是，这部分更多是让 reward head 更容易消费 latent、改善优化和噪声鲁棒性，而不是论文最本质的 representation insight。

Key Insight / Why It Works

这篇最有价值的 insight 是：pairwise preference 自带一个可利用的反事实变换，chosen/rejected swap 可以作为 user representation 的结构监督。相比在用户 ID、group label 或自然语言 profile 上做 personalization，这个信号更便宜，也更贴近 reward learning 的判别边界。它本质上是一种 representation alignment / latent structure bias，而不是 scaling、retrieval 或 test-time compute。

为什么它能缓解 collapse？因为 posterior collapse 的根源是 z 对 likelihood 非必要。swap regularization 在 ELBO 之外增加了一个 z 必须满足的约束，使得 encoder 即便在 decoder 可以解释偏好的情况下，也不能退化成 prior；P-IAF 再保证这种结构在更 expressive posterior 中不被洗掉。换句话说，SPL 不是让 decoder 更强，而是让 encoder 的输出有“必须变化的方向”。

最可能的核心贡献是 swap-guided latent geometry，而不是 IAF 本身。普通 IAF 的 ablation 有提升但不足，说明仅增加 posterior 表达能力不能解决 identifiability；关键是把表达能力约束到 preference reversal 的对称结构上。adaptive conditioning 有用，但更像让模型别浪费已经学到的 latent，属于 engineering / optimization 层面的辅助。

需要警惕的是，UF-P 的 preference type 是由 GPT-4 score 维度构造出来的，用户差异天然接近离散标签分类。SPL 在 latent separation 上表现好，可能部分得益于 benchmark 的离散、可反转结构。若真实用户偏好是连续、多峰、上下文依赖且不满足简单反选镜像，效果可能没有这么干净。

Relation To Prior Work

最接近的是 VPL：都属于 variational personalized reward modeling，用 q(z|D_h) 表示用户，再训练 r(x,y,z)。SPL 的实质新增不是“也用 latent”，而是指出 VPL 在强 decoder + 稀疏复杂偏好下会 posterior collapse，并给 latent 加上由 preference swap 诱导的结构约束。

和 DPL 的区别在于，DPL 建模 hidden context 或 reward distribution，但不真正做 annotator-specific latent；SPL 明确把用户偏好数据编码成个体 latent。和低秩 reward personalization、reward factorization、latent preference code 等路线相比，SPL 不依赖预定义 group 或离散 code，而是从 comparison 的反事实结构中获得监督。

从技术谱系看，它是 VAE posterior-collapse 修复思想、normalizing flow posterior expressivity、FiLM-style conditioning 与 preference learning 结构先验的组合。看似新的 P-IAF 有相当一部分是已有 normalizing flow 与 disentanglement 思想的重组；真正有新意的是把 chosen/rejected swap 解释为 latent-space mirror constraint，并用它来诊断和约束 personalized reward learning。

Dataset / Evaluation

实验覆盖了一个简单合成 Pets 数据和 UF-P-2/UF-P-4。Pets 主要用于说明现象：简单 setting 下 VPL 不一定 collapse；UF-P 才是主要验证场。UF-P 来自 UltraFeedback，并用 GPT-4 在 helpfulness、honesty、instruction-following、truthfulness 等维度打分构造 preference type。这个设置能较好测试“能否从复杂文本 comparison 中恢复离散偏好模式”，但它距离真实个体用户仍有明显差距。

评估最支持的是 reward-model 层面的 claim：SPL 让 latent active、避免 collapse、提升 preference prediction。active units、posterior-prior response、swap behavior 和可视化相互印证，作为 representation 诊断是比较完整的。ablation 也显示 P-IAF 与 guidance 组合比单独加 IAF 更有效。

但 evaluation 没有真正闭环验证 personalized RLHF。论文说优化 policy under personalized reward 可以实现 personalized behavior，但主体实验几乎都在 reward prediction 和 latent clustering。没有真实用户交互，没有长期多轮偏好，没有 policy-level human eval，也没有展示 personalized policy 是否会 reward hack 或牺牲通用能力。因此它验证的是“personalized reward modeling 的 representation 修复”，不是完整 personalized alignment pipeline。

Limitation

最大隐含前提是 swap annotator 的合理性：把所有 pair 反选后得到的对象是否真是某个 coherent user？在构造数据中可以成立，在真实人类偏好中不一定。很多偏好不是严格反对称的：用户可能因为安全、语气、事实性、任务约束等混合因素选择 A，而反选 B 并不代表一个稳定的“相反价值观”。如果这个前提弱，mirror constraint 可能把复杂偏好强行投影到过于简单的方向轴上。

第二个限制是 personalization 的粒度。SPL 假设每个用户有一小组独立单轮 comparison，并从中得到一个静态 latent。它没有建模偏好随上下文变化、时间漂移、任务相关性，也没有处理用户内部不一致。所谓 user latent 更像一个 survey embedding，而不是交互式用户状态。

第三，泛化证据不足。UF-P 的偏好类型由固定评分维度生成，模型可能学到的是这些维度的可分表示，而不是开放域人类价值的泛化结构。这里没有明显 benchmark leakage 证据，但 evaluation distribution 和训练构造同源，泛化到真实 annotator-level preference 文中未充分说明。

第四，增益归因仍有不清楚处。P-IAF、guidance、adaptive conditioning、额外 swap forward pass 都改变了优化路径。虽然 ablation 说明各组件有用，但还不能完全排除一部分收益来自更强 regularization、更稳定训练或额外数据增强式信号，而非严格来自作者给出的 mirror-theoretic argument。

Takeaway

  • 1. Personalized reward modeling 的关键不是“加一个 user latent”，而是让 latent 在训练目标中不可被绕过；posterior collapse 应该成为 personalized RLHF 的标准诊断项。
  • 2. Preference data 的结构性变换值得系统利用。
  • chosen/rejected swap 提供了一种廉价的反事实监督，可迁移到其他 preference representation、DPO-style personalization、甚至多模态 reward modeling。
  • 3. Expressive posterior 不是充分条件。

一句话总结

SPL 是一篇把 personalized RLHF 中的 VPL posterior collapse 问题显式化、并用 preference-swap 诱导的镜像 latent 结构来修复 user representation 的工作，核心贡献属于结构化 latent inductive bias，而不是单纯的模型扩展。