按年份、论文来源和主题标签浏览 RLHF 论文，可进入详情页查看 AlphaXiv、在线 PDF、代码或项目资源。
Indian Institute of Science, Indian Institute of Technology
DPO以轻量化的单阶段监督学习替代两阶段RLHF，但其理论推导依赖表格型策略类的理想假设。本文揭示，对于神经网络等参数化策略类，DPO实质上在求解一个设定错误的统计估计问题：它将真实奖励投影到策略类隐式定义的奖励流形上，若真实奖励不可实现，即使数据干净也会导致偏好顺序反转、奖励下降及分布敏感等失效模式。作者通过局部几何分析两阶段RLHF与策略空间自然梯度的关系，提出AuxDPO，在损失中引入辅助变量以有原则地逼近RLHF最优解；实验表明其在bandit和LLM对齐任务上均优于标准DPO。
FAIR at Meta
针对偏好数据可解释性不足、预设特征限制发现的难题，本文提出WIMHF，利用稀疏自编码器自动从反馈数据中学习人类可解释特征，区分数据集能够测量的偏好与注释者实际表达的偏好。在7个数据集上，这些特征捕获了黑盒模型的大部分预测信号，并揭示显著的跨数据集偏好冲突：Reddit偏好非正式表达与幽默，HH-RLHF与PRISM则相反；LMArena存在反对模型拒绝的不安全倾向。基于这些特征清洗数据，可在不损害通用性能的情况下将安全性提升37%，并支持细粒度个性化偏好建模。
Stanford University, Georgia Institute of Technology, The University of Tokyo, Pennsylvania State University, University of California, Los Angeles
现有Nash偏好学习（NLHF）将大模型对齐视为二人博弈，但单一对手假设难以刻画真实偏好中多注释者、异构标准与非传递性等复杂结构。本文提出Multiplayer Nash Preference Optimization（MNPO），将NLHF扩展为n人博弈，使每个策略同时与群体对手竞争并受参考模型正则化。作者设计了TD-MNPO，以历史策略的自适应加权构造对手集并保证收敛；其异构扩展HT-MNPO在多样偏好源上亦表现稳健。实验表明，MNPO在指令遵循基准上持续优于现有NLHF基线，尤其在异构注释者与混合策略评估下显著提升对齐质量。
Institute of Automation, Chinese Academy of Sciences, The Chinese University of Hong Kong, Shenzhen, Microsoft Research AI4Science, University of Science and Technology Beijing
现有序列级偏好优化（如DPO）忽视个别token的重要性差异，对数据噪声敏感，训练易失稳。本文提出TI-DPO，以两项协同设计实现细粒度对齐：一是融合梯度归因与高斯先验的混合加权机制，准确识别关键token并纠正U型注意力偏差；二是引入三元组损失，将中间输出纳入优化，显式拉近偏好响应、推远非偏好响应。实验显示，该方法在HumanEval、TruthfulQA与IFEval上显著优于强基线，平均得分62.3，兼顾更高准确率与生成多样性。
现有安全对齐方法常依赖辅助网络或多阶段流程，复杂度高。本文直接分析原始硬约束优化目标，证明其在温和假设下存在闭式最优策略，并推导出等价的可处理形式，将安全约束问题转化为类DPO的单阶段直接优化。据此提出SafeDPO，仅利用偏好数据与二元安全指示器，无需奖励或成本模型。在PKU-SafeRLHF-30K上，SafeDPO显著提升安全性并保持有用性竞争力，可扩展至13B模型；在XSTest上达到100%无害率，但伴随约12%的过度拒绝。
针对多模态大语言模型对齐中缺乏系统构建奖励模型的现状，该工作通过大规模实验对比了Naive、Critic与Generative等建模范式，发现Naive-RM在补充对应数据后并不弱于生成式方法且更易融入RL流程，同时揭示了纯文本数据对多模态判断的增益。基于此，作者提出基于Qwen2.5-VL与两层MLP奖励头的BaseReward，在多个多模态奖励基准上取得SOTA，并在真实RL训练管线中显著提升模型表现。
Imperial College London, Amazon AGI
现有LLM对齐目标不透明且难以审计，传统逆强化学习给出的单一奖励估计既过度自信又无法解决非辨识性问题。本文提出The Alignment Auditor框架，将奖励推断从估计重构为验证过程：利用贝叶斯IRL恢复目标分布，通过后验收缩系统减少不确定性，并以不确定性诊断暴露捷径与分布外风险，同时在策略层面验证所得奖励可直接用于RLHF。实验表明，该框架在去毒和有用性偏好场景中均能恢复出校准良好、可解释的目标函数，且较大模型能更忠实地复现专家偏好信号。
Harbin Institute of Technology, Shenzhen, Xi’an Jiaotong University, The Chinese University of Hong Kong, University of Chinese Academy of Sciences, Tsinghua University
现有直接偏好优化方法通常对所有偏好对一视同仁，忽视了数据质量差异与模型学习动态，造成数据利用低效甚至过拟合。本文提出Uni-DPO，从数据固有质量和模型训练时表现两个维度自适应地重加权样本，并引入校准负对数似然损失以缓解对高质量正样本概率的抑制。实验表明，该方法在文本理解、数学推理和多模态任务上均显著优于DPO与SimPO，Gemma-2-9B-IT在Arena-Hard上超过Claude 3 Opus达6.7分。
Stanford University, University of Washington
针对标准RLHF以单一奖励模型拟合群体偏好、难以处理用户间冲突且现有向量嵌入可解释性不足的问题，本文提出PLUS框架，利用强化学习在线联合训练用户摘要生成器与摘要条件化奖励模型，将用户特征与对话历史压缩为自然语言摘要以个性化预测偏好。实验表明，该方法较Bradley-Terry模型提升奖励预测准确率11–77%，在话题迁移与新用户场景下比最优个性化基线提升25%，无需微调即可让GPT-4o以72%胜率超过默认版本，并在PRISM真实跨文化数据集上验证了可解释个性化对齐的有效性。
Beijing University of Posts and Telecommunications, Nanyang Technological University
针对现有大语言模型解码方法缺乏显式token级幻觉控制、难以在隐空间量化幻觉风险且动态纠错能力不足的问题，本文提出Token-Guard，通过在每个推理步骤对候选token进行隐空间自检验与剪枝，并对候选片段施加显式幻觉风险评分，结合局部片段再生与全局迭代策略动态修正错误。实验表明，该方法在HALU基准上相较最强基线实现了最高16.3%的F1分数相对提升，有效抑制了生成过程中的幻觉传播。
School of Computer Science, Fudan University
现有RLHF流程通常先预训练奖励模型再在线学习价值函数，但作者指出在偏好数据固定后这一过程信息冗余，奖励建模与直接预训练价值模型在信息上等价。基于此，他们提出DVPO框架，离线预训练全局价值模型（GVM）并冻结作为通用critic，彻底省去在线critic训练，避免模型漂移并提供细粒度的token级信用分配。实验表明，DVPO在MT-Bench等基准上达到或超过现有最优RLHF方法，同时节省30-40%显存和30-45%训练时间。
Guangdong Provincial Key Laboratory of Computational AI Models and Cognitive Intelligence, School of Computer Science & Engineering, South China University of Technology, Pazhou Lab, Guangzhou, China, Engineering Research Center of the Ministry of Education on Health Intelligent Perception and
现有直接偏好优化方法缓解大视觉语言模型幻觉时，其偏好对往往与视觉脱节且属离策略数据，难以解决模型已准确关注到关键区域却在处理阶段失败的感知瓶颈，以及对图像退化过于敏感的鲁棒性不足问题。为此，本文提出P2-DPO，通过让模型自生成面向视觉的on-policy偏好对，构造Focus-and-Enhance与Visual Robustness两类对比样本以直接干预视觉主导参数，并辅以Calibration Loss精准对齐视觉信号与文本因果生成。实验表明，在相当的数据与成本下，P2-DPO在幻觉基准上超越了依赖昂贵人工反馈的强基线，并在注意力区域保真度和退化图像场景中验证了其对感知瓶颈与视觉鲁棒性的改善效果。
Sydney AI Centre, The University of Sydney, University of New South Wales
现有RLHF方法分别用KL惩罚（相对于初始策略π0）和策略裁剪（相对于当前策略πt）来缓解reward hacking与优化不稳定，但二者在训练过程中逐渐冲突，导致策略搜索空间受限。本文提出dual-KL统一正则化框架，显式平衡两种正则目标，使策略能在保证稳定的前提下探索参考策略支持外的高奖励区域。理论分析表明，其等效参考目标为π0与πt的对数空间插值，并由此导出加权SFT形式的DAR算法。实验表明，该方法在多种基准上均优于现有RLHF及在线偏好学习方法，取得更优的reward-KL帕累托前沿与对齐稳定性。
University of Chicago, Fudan University
传统RLHF将人类反馈压缩为标量奖励，丢失了错误位置的细粒度信息，导致信用分配不准且收敛慢；而现有的自然语言反馈方法仅用于推理时的提示或反思，无法更新模型参数。为此，本文提出Text2Grad，首次将自由形式的文本批评转化为span-level的可微奖励信号与自然语言梯度，通过反馈-跨度对齐、细粒度生成式奖励模型和span-level PPO优化器，直接在策略层面精准修正出错片段。实验表明，该方法在摘要、代码生成和问答任务上均优于标量奖励RL及纯提示基线，兼具更高性能与可解释性。
University of Wisconsin-Madison, Stanford University
现有推理式安全对齐方法难以抵御将恶意意图隐藏在良性提示背后的先进越狱攻击。本文提出ARMOR，其核心洞察在于所有越狱攻击均试图嵌入核心恶意意图，故防御关键在于提取该意图。为此，ARMOR设计了结构化的三步推理流程：从外部可更新策略库分析越狱策略、提取核心意图、并进行基于策略的安全验证。实验表明，ARMOR在先进优化越狱攻击上的攻击成功率降至0.06，平均有害率仅0.002，且对未见策略的泛化成功率可降至零，显著优于现有方法。
National University of Singapore
现有RLHF/RLAIF流程多依赖单一奖励模型，面临泛化不足、成本高昂与过优化风险，而现有路由方法又存在冷启动与探索不充分的问题。本文提出BayesianRouter，通过离线多任务学习捕捉各RM的专长嵌入，再以贝叶斯Thompson采样进行在线实例级路由，以离线先验初始化并自适应更新后验，在探索与利用间取得平衡。实验表明，该方法在指令遵循与推理基准上均优于单一RM、集成方法及LASER等现有路由策略。
Zhejiang University, Sichuan University, Tsinghua University
现有视觉数学推理方法虽能解耦感知与推理，却普遍面临“推理漂移”困境——模型常生成与视觉证据相悖的推理链。本文提出受认知科学启发的三阶段框架CogFlow，在感知与推理之间显式引入“知识内化”阶段，通过协同视觉奖励从参数与语义空间提升感知精度，并设计知识内化奖励与视觉门控策略优化确保推理忠实于视觉线索而非追求表面连贯。作者还构建了含12万条感知-推理对齐标注的MATHCOG数据集，实验表明该框架在多个视觉数学基准上有效缓解了推理漂移并提升了推理准确率。
Carnegie Mellon University, Cornell University
该工作旨在解释 foundation model 偏好微调中，为何先训练奖励模型再执行在线 RL 的两阶段复杂流程，通常优于直接进行离线最大似然估计。作者运用信息几何工具证明，若策略与奖励模型的函数类同构，在线与离线方法应返回等价策略；继而通过理论与实验排除正则化和采样效率等假设，支持"生成-验证鸿沟"是核心原因：相对简单的验证器（RM）更容易从偏好数据中学得，而下游 RL 仅需在对其最优的生成器子集中搜索，从而有效缩减策略空间并减少数据需求。
Department of Computer Sciences, University of Wisconsin-Madison
现有RLHF探索奖励在KL或α-散度正则化下存在理论缺陷：它们意外地将探索偏向参考模型的高概率区域，反而强化保守行为而非真正的乐观探索。为此，作者提出General Exploratory Bonus（GEB），通过参考依赖的奖励调节抵消散度诱导的偏差，理论上可证明满足乐观原则，并将此前多种启发式奖励统一为特例。实验表明，GEB在多种散度设置和不同大语言模型骨干上均优于现有基线，能有效促使策略在参考模型低概率的不确定区域采样。
IDSS, Massachusetts Institute of Technology, EE, Tsinghua University, SIGS, Tsinghua University
现有LLM偏好对齐方法普遍假设标签干净且等可靠，然而实际数据往往包含20%–40%的标注噪声。RE-PO通过EM框架将每条偏好标签的正确性视为隐变量，在E步推断标签后验置信度与标注者可靠性，在M步据此自适应重加权训练损失，从而系统性地增强了DPO、IPO、SimPO与CPO等主流算法。实验显示，在Mistral-7B与Llama-3-8B上，RE-PO变体在AlpacaEval 2中的胜率较基线最高提升7.0个百分点，并在真实多标注者数据集上展现出明确的去噪效果。
现有RLHF奖励模型的随机效用框架通常依赖IIA假设，将复杂的人类偏好坍缩为单一效用函数，难以捕捉偏好的异质性与相关性。本文针对规避该假设的correlated probit模型，首次严格证明了成对偏好数据在根本上无法恢复效用相关性，而三选一（best-of-three）偏好数据在统计与计算层面既必要又充分，并给出了近最优的多项式时间估计器。在真实数据集上的验证表明，高阶偏好数据能够实现更精准的人类偏好个性化建模。
Centre for Frontier AI Research, Agency for Science, Technology and Research, Singapore, Australian Artificial Intelligence Institute, University of Technology Sydney, Australia, Nanyang Technological University (NTU), Singapore
针对LLM个性化对齐中用户偏好异构且人工标注成本高昂的问题，本文提出无需训练的HCC框架。该框架通过LLM与轻量专用模型的异构一致性对比，以无参考的CAI Ratio识别不可靠样本，并基于非参数嵌入方法将少量用户偏好传播至无标注语料进行共对齐修正。在八个NLU数据集上的实验表明，HCC显著提升偏好对齐效果，且经修正后的Llama-3-8B在多项任务中超过GPT-3.5/4o-mini。
University of Science and Technology of China, Zhongguancun Academy
现有RLHF奖励模型易受长度偏差影响而过度偏爱长回复，且微调后的大语言模型难以遵循显式长度指令。为此，作者提出Response-conditioned Bradley-Terry（Rc-BT）模型，利用增强的长度指令数据集，显式区分语义偏好与长度要求，并衍生出Rc-RM与Rc-DPO算法。实验表明，该方法在奖励建模与直接偏好优化中均可有效缓解长度偏差并提升长度指令遵循能力，在多种模型和数据集上均具良好泛化性。
University of Oxford
本文研究宪法式对齐中基于损失函数的奖励模型为何会违反帕累托最优（PO）。针对先前工作发现最优线性奖励可违背PO的反直觉现象，作者首先证明即使提升奖励模型表达能力（如采用多项式模型），PO与成对多数一致性仍会持续被破坏；进而将公理框架从固定训练集拓展至整个嵌入空间以关注泛化，并证明当偏好数据均匀覆盖嵌入空间时，标准损失函数在极限下可精确恢复公理保证，从而为无需改动训练流水线、仅通过数据集设计实现对齐提供了理论依据。
University of Illinois Urbana–Champaign, Carnegie Mellon University
针对PPO-based RLHF中多模型顺序依赖与响应长度长尾分布导致的流水线低效，本文提出OPPO框架，通过两种流水线重叠隐藏延迟：步内重叠以自适应分块流式传输actor输出，使下游模型在其解码期间即启动prefill；步间重叠则自适应超量提交prompts并将长尾响应推迟至后续步骤完成，避免丢弃部分结果。实验表明，OPPO在不损害收敛的前提下实现1.8至2.8倍训练加速与1.4至2.1倍GPU利用率提升，且能以轻量wrapper接入现有框架并泛化至DPO。
Key Laboratory of Computational Linguistics, MOE, Peking University, School of Software and Microelectronics, Peking University, School of Computer Science, Peking University, Huawei Technologies Ltd, China
针对开放域问答缺乏可验证奖励信号、现有评估范式易遭奖励篡改且可解释性差的问题，本文提出QuRL框架，自动从网络资源中挖掘问题专属的细粒度评分标准（rubric）作为奖励信号，以GRPO算法训练模型，在保留可解释性的同时提升内容与风格质量。实验表明，该方法在三个基准上较监督基线平均提升17.0分，有效将可验证奖励强化学习拓展至开放域问答。
AIPD, Tencent, Shenzhen, China, IIIS, Tsinghua University, Beijing, China, EE, Tsinghua University, Beijing, China, CS, Tsinghua University, Beijing, China, SEAS, Harvard University, Cambridge, USA
针对现有智能体解释方法多局限于特定任务、缺乏通用性的问题，本文提出一个任务无关框架：令LLM在隐藏真实决策的条件下，仅依据决策上下文还原底层策略，并通过连续归一化流（CNF）生成分布性奖励以进行RLAIF训练。理论表明，在温和假设下，CNF能将含噪的代理LLM奖励去噪，并约束其与真实人类奖励分布的偏差；其架构通过交叉注意力关注决策语境与解释文本的语言线索。在SMAC、MMLU和MathQA上的实验表明，移除流匹配会使性能下降6.9%–12.4%，且该方法整体优于RLHF、RLAIF等基线1.9%–18.2%，人工评估亦显示其解释在准确性与逻辑性上表现更优。
现有开源奖励模型因偏好数据集质量参差而难以捕捉复杂人类偏好，且单基准评估存在局限。本文构建含4000万对的SynPref-40M数据集，提出人机协同的两阶段筛选流程：以人类标注保障质量，并以LLM在人工偏好引导下实现规模扩展，从中精选2600万对训练Skywork-Reward-V2系列（0.6B–8B）。该系列在七大奖励模型基准上取得SOTA，并在安全性、风格偏见抵抗及best-of-N扩展等维度表现突出，消融实验证实其增益源于数据规模与高质量筛选的共同作用。
现有RLHF依赖标量奖励难以表达非传递偏好，NLHF的纳什均衡又常收敛于混合策略。本文提出Stackelberg Learning from Human Feedback（SLHF），将偏好优化建模为Leader先行动、Follower后响应的序贯博弈：Follower专精对Leader输出的精细化改进，天然支持通过迭代采样实现推理时自优化，且无需显式奖励模型。实验表明，Follower在多个偏好数据集上持续优于RLHF与NLHF基线，且能跨模型族直接迁移，无需额外微调即可提升独立训练策略的输出质量。
Yonsei University, Korea Institute of Science and Technology
现有RLHF假设单一通用奖励，难以适配多样的人类偏好；VPL虽引入用户潜变量，但在稀疏数据下易发生后验坍塌，退化为单奖励模型。为此，作者提出Swap-guided Preference Learning（SPL），利用偏好交换的镜像性质构建虚拟注释者，并引入交换引导正则化、Preferential Inverse Autoregressive Flow与自适应潜变量条件化三项机制，显式约束编码过程。实验表明，SPL有效缓解了后验坍塌，增强了用户特定潜变量的表达能力，并显著提升了偏好预测精度。
Stanford University, Amazon AGI
现有基于Bradley-Terry模型的偏好学习方法仅能处理二元比较，难以有效利用Likert量表的序数反馈。本文将奖励建模重新定义为离散序数回归问题，提出负对数似然与all-threshold两种损失函数，直接从数据中学习阈值参数以刻画偏好强度的序数结构，避免了手动设置margin等启发式调参。实验表明，该方法在对话、推理及安全任务上持续优于或持平现有启发式方法，且所学阈值具有良好的可解释性，能较准确预测偏好强度。
现有RLHF可解释性不足且易出现奖励篡改，RLVR则受限于仅验证正确性。本文提出二进制灵活反馈（RLBFF），将自然语言反馈拆解为可二值化的细粒度原则（如信息准确性、代码可读性），把奖励模型训练转化为判断回复是否满足特定原则的蕴含任务，支持推理时自定义关注维度。该框架下的奖励模型在RM-Bench和JudgeBench上取得领先成绩，开源的Qwen3-32B对齐方案在MT-Bench等通用对齐基准上达到或超越o3-mini与DeepSeek R1，推理成本不足其5%。
Department of Experimental Psychology, University of Oxford, Department of Computer Science, University of Oxford, Oxford Internet Institute, University of Oxford
这篇工作系统研究了奖励模型（RM）是否会继承预训练基础模型的价值偏见。作者将穷尽式token搜索与心理语言学工具相结合，发现即使使用相同的偏好数据进行微调，基于Llama的RM显著偏好"能动性"（agency）价值，而基于Gemma的RM则偏好"社群性"（communion）价值。进一步分析表明，这种偏见根植于预训练模型自身的log概率分布，且难以通过增加偏好数据量来消除，说明对齐安全不能仅依赖RLHF阶段，预训练阶段的基础模型选择本身就是重要的价值决策。
UNIST, 3summary.ai
现有RLHF方法多采用KL或f-散度约束策略，但仅比较同一下标的token概率，忽略词汇间的语义关联。本文提出基于熵正则化Wasserstein距离的WPR方法，将token空间几何结构嵌入策略正则化，并通过其对偶形式导出可计算的奖励惩罚项，兼容标准RL算法。实验表明，在对话生成等任务中，WPR在多种温度设置下均优于KL及f-散度基线，验证了语义感知策略距离对模型对齐的有效性。
Allen Institute for Artificial Intelligence, University of Washington
现有奖励模型评估与下游任务效果存在脱节，且直接对齐算法常表现更优。为此，本文提出 RewardBench 2，一个多技能奖励模型评估基准，采用全新人类提示并将评估格式扩展为 best-of-4（一个正例与三个负例干扰项），覆盖精确指令遵循、事实性等六个领域。实验显示，领先模型在该基准上较 RewardBench 平均低约20分，且分数与 best-of-N 采样及 RLHF 下游性能高度相关。此外，研究发现 RLHF 中奖励模型需与策略模型同源，单纯选取基准最高分模型反而可能导致性能下降。
Thomas Lord Department of Computer Science, University of Southern California
现有基于偏好的奖励学习仅依赖二元对比，信息稀疏且易受因果混淆影响，导致模型过度依赖与偏好轨迹虚假共现的非因果特征。本文提出ReCouPLe，通过引入自然语言理由作为嵌入空间中的投影轴，将轨迹表示分解为理由对齐与正交分量，强制奖励差异仅由用户陈述的因果特征解释，从而抑制虚假关联。该方法还能跨任务复用共享理由，实现零样本偏好迁移。实验表明，ReCouPLe在分布偏移下的奖励准确率较基线提升1.5倍，在新任务上的下游策略性能较基线提升2倍。
Yale University, Allen Institute for AI
现有RLHF依赖Bradley-Terry模型，难以刻画非传递性等复杂偏好，且现有自博弈算法往往发散或只能收敛至修改后问题的Nash均衡。本文提出元算法COMAL，将每轮对齐建模为以当前策略为参考点的KL正则化双人零和博弈，通过自适应更新参考点实现Prox-method，并可兼容DPO、PPO等现有方法。理论证明COMAL的最终迭代收敛至精确Nash均衡，保证对任意策略不低于50%胜率；在合成与真实LLM实验中，其对各基线均保持56%以上胜率。
Technion - Israel Institute of Technology
针对DPO类方法在f-散度扩展中要求生成函数f必须凸，以及优化中“概率位移”导致正负样本概率同时塌陷的问题，本文证明凸性并非必要，并完整刻画了保证RLHF问题可解的“DPO-inducing”条件；进而提出“抗位移”条件以抑制该现象。基于满足双重条件的非凸f-散度，作者提出SQUAREDPO损失，实验表明其在保持与DPO相当性能的同时，对过优化更具鲁棒性并能有效缓解概率位移。
School of Electrical Engineering & Computer Science, Washington State University, School of Information Science & Technology, ShanghaiTech University
该工作指出DPO对参考策略质量高度敏感，模糊样本会在策略不对齐时主导梯度并损害泛化。为此提出RAPPO，在训练过程中基于参考策略的置信度动态过滤最模糊的偏好对，专注于可靠样本，仅须少量代码修改即可接入现有DPO类算法。理论证明其能缩小泛化界。在情感分类、毒性控制、摘要及安全对齐任务上，RAPPO一致优于DPO、SIMPO等基线，IMDB上提升达7.7%，毒性降至2.28%。
FAIR at Meta, Governance at Meta, Social Issues Research at Meta, AI Policy Team at Meta, Center for Data Science, New York University
针对大语言模型在全球化应用中需适配多元文化价值观却受困于算法单一文化的问题，本文提出负相关采样（NC sampling）策略，通过显式生成具有负相关性的异质候选回答，突破传统独立采样导致的响应同质化瓶颈。基于覆盖五国共计15,000名代表性用户的大规模人类研究发现，21个当前最优模型的输出仅与41%的人类偏好一致；在此基础上构建并开源的Community Alignment数据集包含233,319条多语言偏好比较，实验表明标准对齐方法借助该采样策略可有效学习异质化的人类偏好。
现有分位数公平策略聚合依赖显式MDP转移概率与线性规划，难以适用于高维环境。本文提出一种oracle高效算法，将标准策略优化作为黑盒，无需直接依赖状态或动作空间规模。通过以个体最优策略诱导的分布重新估计分位数，并引入乘法权重更新，该算法仅需O(n)次策略优化oracle调用即可获得最大可行分位数公平策略，计算与样本效率较先前方法提升数个数量级。
Google DeepMind, McGill University, Mila - Quebec AI Institute
针对RLHF中奖励模型易受长度、格式等虚假特征干扰而产生reward hacking的问题，本文提出CROME框架。该框架利用Oracle LLM识别回答质量的因果评估标准，并仅通过对这些因果属性进行干预，生成两类合成反事实样本：一类改变因果属性以强化模型对真实质量变化的敏感度，另一类构造tie-label中性样本以抑制对未知虚假属性的依赖。实验证明，CROME在RewardBench上平均提升5.3%，安全与推理任务分别提升12.4%和7.1%，并显著改善了DPO策略与Best-of-N对齐效果。
School of Computer Science, McGill University
PPO在RLHF微调中常出现策略收缩现象：输出多样性下降、熵减、重复增加。本文提出Support Retention Ratio (SRR)直接度量策略支持集的保留程度，并设计CaPPO，将奖励、熵与KL散度视为对等目标，通过最小范数多梯度更新逼近Pareto改进方向，配合熵调度控制器动态维持探索。在HH-RLHF等数据集及Qwen、Llama、Mistral上的实验表明，CaPPO在胜率提升2–4点的同时，SRR提高0.2–0.3，有效缓解收缩且不牺牲对齐性能，且对奖励缩放与critic方差具有鲁棒性。
Institute of Operations Research and Analytics, National University of Singapore, Department of Analytics and Operations, NUS Business School
现有LLM对齐多依赖成对偏好优化，但将更丰富的人工反馈（如多路比较、排序）简化为成对比较会扭曲偏好结构并损失信息。本文提出RCPO框架，通过最大似然估计统一偏好优化与（排序）选择模型，直接支持单最优、top-k等反馈格式，并涵盖DPO等成对方法。框架可实例化为基于效用的MNL或基于排序的Mallows-RMJ模型。在Llama-3-8B-Instruct、Gemma-2-9B-it和Mistral-7B-Instruct上的实验表明，RCPO在分布内及AlpacaEval 2、Arena-Hard等分布外基准上均持续优于基线。
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, University of Chinese Academy of Sciences, Shenzhen University of Advanced Technology
现有判别式奖励模型只能输出未校准的相对分数，而生成式模型依赖昂贵的逐点监督且输入受限。为此，本文提出有序概率奖励模型OPRM，将奖励视为随机变量，通过离散化有序评级学习完整的质量分布，并设计Region Flooding Tuning策略，利用质量层级标注引导概率质量集中于对应子区域，实现数据高效的半监督训练。实验表明，OPRM在多个基准上较前代模型准确率提升2.9%至7.4%，并能同时反映相对排序与绝对质量。
Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong (Shenzhen)
针对RLHF中奖励模型因训练数据含归纳偏差（如回复长度、谄媚语气、格式风格）而引发的奖励作弊问题，现有方法多局限于特定偏差或仅建模线性相关。本文提出信息论去偏框架DIR，受信息瓶颈启发，通过最大化奖励分数与人类偏好的互信息、同时最小化其与偏差属性的互信息，统一消除具有非线性相关的复杂偏差，并设计基于相对偏差属性的比较正则化器以避免奖励信号畸变。实验表明，DIR在三种典型偏差场景下均实现有效去偏，并显著提升了RLHF在多项基准上的对齐性能与泛化能力。
University of Virginia
现有大语言模型的安全对齐多依赖浅层拒绝启发式，而非深度推理，导致易被越狱攻击绕过。作者通过因果干预发现，关闭推理关键神经元后模型推理能力显著下降，但对齐行为几乎不受影响，证实了当前安全机制的浅层性。为此，他们构建了包含逐步推理的安全CoT微调数据集，并基于CoT微调中的失败模式提出Alignment-Weighted DPO，对推理过程和最终答案分别赋予差异化偏好权重以实现更精细的优化。实验表明，该方法在提升安全对齐鲁棒性的同时保持了模型效用。
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China, Pengcheng Laboratory, Shenzhen, China
现有奖励模型（RM）的评估基准普遍缺乏对多语言文化意识的专门考察，难以支撑大语言模型的全球化对齐需求。为此，本文提出CARB基准，覆盖10种语言文化在常识、价值观、安全与语言学四大领域，并揭示当前RM在文化判断上存在依赖表面特征的虚假相关性问题。进而，作者提出Think-as-Locals方法，借助可验证奖励强化学习（RLVR）引导生成式RM进行深度文化推理，实验表明该方法能有效抑制虚假特征干扰并提升文化感知的奖励建模能力。
Nanjing University, Shanghai AI Laboratory, Noah’s Ark Lab, Huawei, Shanghai Innovation Institute, Shanghai Jiao Tong University
该工作针对 LoRA-MoE 在 GRPO 强化微调中因外部任务奖励无法感知内部路由决策而导致专家崩溃与参数利用不足的问题，提出 RO-GRPO 框架。其核心创新是将训练中的路由统计量（如路由熵与负载分布）显式编码为机制感知奖励，融入群体相对优势计算，无需辅助损失即可联合优化任务性能与路由效率。实验表明，该方法在单模态和多模态数学推理基准上稳定优于标准 LoRA 与原始 LoRA-MoE 基线，并显著提升了专家利用率。
The Pennsylvania State University, Havard University
现有RLHF奖励模型在分布外(OOD)场景下仍易遭受reward hacking，而多目标奖励模型虽能缓解该问题，却受限于稀缺的细粒度标注数据。本文提出SMORM框架，在共享嵌入空间中联合训练Bradley-Terry单目标头与多目标回归头，理论上揭示二者损失函数的互补性：回归目标增强单目标模型在OOD下的鲁棒性，BT目标则弥补多目标模型数据不足的缺陷。实验表明，该框架仅需单次前向传播，即可使7B模型在相同数据上超越70B基线，显著提升奖励模型的泛化与打分能力。
University of Wisconsin-Madison
现有RLHF与NLHF在聚合异质偏好时，往往过度偏向主流意见而未能按比例反映评估者群体的真实分布，且易受策略操纵。本文基于社会选择理论，提出一种无需显式群组标签的偏好学习框架，可直接从成对比较数据中推断评估者总体分布的可行集，并引入人口比例对齐与人口有界可操纵性两项新公理。该框架通过Softmax松弛在比例对齐与Condorcet赢家选择之间实现平滑权衡，理论证明其满足单调性与帕累托效率，并在表格推荐与大规模语言模型对齐实验中验证了有效性与可扩展性。
Department of Computer Science, National University of Singapore, Singapore, Singapore-MIT Alliance for Research and Technology Centre, Singapore, The Chinese University of Hong Kong, Shenzhen, China, CSAIL, Massachusetts Institute of Technology, USA, Institute of Data Science, National University of Singapore, Singapore
针对大语言模型对齐中人工偏好标注成本高昂的问题，现有主动选择方法或缺乏理论保障，或依赖线性奖励函数等强假设，且常忽略被对齐模型自身对数据选择的影响。本文提出 ActiveDPO，基于 DPO 框架为复杂非线性奖励函数建立了基于模型梯度的主动选择准则，直接利用待对齐的 LLM 参数化奖励模型以显式考量其影响，并通过批量选择与 LoRA 随机投影提升实用性。实验表明，该方法在多种模型与真实偏好数据集上均优于现有方法。
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Beijing Normal University
针对扩散与流模型中GRPO顺序采样计算冗余、终端奖励均匀回传导致信用分配不准的问题，本文提出BranchGRPO，将rollout重构为分支树：通过共享前缀分摊去噪成本并保持样本多样性；利用奖励融合与深度归一化优势估计把稀疏终端奖励转化为细粒度步级信号；并引入宽度与深度剪枝降低反向传播开销。在HPSv2.1图像对齐上，该方法较DanceGRPO提升对齐分数达16%，每轮训练时间缩短近55%；混合变体BranchGRPO-Mix提速4.7倍且不损害对齐。在WanX视频生成上也获得更优的运动质量与时序一致性，并验证了大组规模下的持续性能扩展。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
University of Warwick, UK, Max-Planck Institute for
现有RLHF方法在提示分布发生偏移时性能显著下降。本文将分布鲁棒优化引入RLHF全流程，针对奖励估计与策略优化分别设计了基于minibatch梯度下降的鲁棒算法，并在线性奖励与对数线性策略假设下证明了收敛保证。实验表明，基于2B参数模型的鲁棒训练在多个OOD数据集上均提升了性能，尤其在推理任务上改善最为明显。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
全文短总结尚未生成。
Berkeley AI Safety Initiative (BASIS), University of California, Berkeley, AWS Generative AI Innovation Center, Amazon Web Services, Stanford University, Northeastern University, Seattle, WA, USA
这篇论文指出，RLHF在成为大模型对齐主流方法的同时，面临着安全性与公平性、多样性与计算成本、鲁棒性与偏见放大之间的深层张力。作者通过统计学习理论与鲁棒优化的复杂度分析，形式化提出了“对齐三元悖论”，证明任何RLHF系统都无法同时满足ε-表征性、多项式可解性与δ-鲁棒性。研究发现，当前系统仅以10³–10⁴同质化样本训练，远不足以覆盖全球多元价值观，其偏好崩溃、谄媚和偏见放大等病理并非工程疏漏，而是为换取可计算性而牺牲表征性的必然结果；同时达到高表征性与高鲁棒性需超多项式复杂度。作者最后探讨了通过策略性放松对齐目标来导航这一根本权衡的方向。
FAIR at Meta
现有方法难以自动揭示人类反馈数据编码的偏好，预定义特征亦限制发现。本文提出WIMHF，利用稀疏自编码器从偏好对中自动提取可解释特征，区分"可测量偏好"与"表达偏好"。在7个数据集上，少量特征即捕捉黑盒模型大部分信号，并揭示显著的跨数据集冲突：Reddit偏好非正式表达而HH-RLHF排斥之，LMArena存在"反对拒绝"的不安全倾向。基于这些特征清洗数据，可在不损害性能的情况下将安全性提升37%，并支持细粒度个性化对齐。
现有基于乐观主义原则的在线RLHF探索算法在采样协议上存在不足，其收集的偏好比较难以有效削减奖励差异中最具信息量的不确定性，导致遗憾界在部分模型参数上呈指数依赖。对此，作者提出了一种新的探索方案，将查询导向与策略改进最相关的奖励差异不确定性削减方向。在多臂老虎机模型下，该算法获得了T^{(β+1)/(β+2)}的遗憾上界，首次实现了对所有模型参数的多项式依赖。
现有RLHF与RLVR框架常受推理瓶颈与复杂架构困扰，难以兼顾性能与易用性。本文提出基于Ray的开源框架OpenRLHF，通过集成vLLM加速长链推理、结合DeepSpeed-ZeRO与Ring Attention实现3D并行，并采用异步数据流提升分布式吞吐量，在显著简化代码与部署的同时，将训练速度提升1.22至1.68倍，已被多所顶尖机构采用。
University of Amsterdam, The Netherlands
针对文生图扩散模型RL微调中PPO计算开销大、超参敏感，而REINFORCE方差大、样本效率低的问题，本文系统分析了二者的效率-效果权衡，提出leave-one-out PPO（LOOP）。该方法将REINFORCE的每提示多轨迹采样与leave-one-out基线校正，同PPO的重要性采样与裁剪相结合，在T2I-CompBench的属性绑定及美学优化任务上，LOOP的训练奖励与测试集泛化性能均持续优于DDPO，在样本效率与最终效果间取得了更优平衡。
University of Amsterdam, The Netherlands
针对文本到图像扩散模型RL微调中PPO计算开销大且超参数敏感、REINFORCE样本效率低的问题，本文系统分析了效率与效果的权衡，提出LOOP方法：融合REINFORCE的多轨迹采样与留一法基线校正以降低方差，同时保留PPO的裁剪与重要性采样以提升样本效率。实验表明，在T2I-CompBench属性绑定及美学优化等任务上，LOOP在相同样本预算下获得了持续优于DDPO的训练奖励与最终性能。
现有工作对DPO的log-ratio奖励合理性、训练动态的形成机制及其对下游能力的影响缺乏深入理解。本文从贝叶斯视角出发，提出差分信息分布（DID），将偏好优化重新理解为学习把参考策略更新为目标策略所需的差分信息。研究表明，DPO的log-ratio奖励在满足特定条件时是唯一能学习目标策略的Bradley-Terry奖励；其训练动态中的对数似然变化和策略探索可由DID的幂律关系解释；DID的熵则刻画了下游能力的权衡，高熵DID提升开放式任务表现，低熵DID增强知识密集型问答。这些发现为偏好对齐提供了统一的理论基础和实用指导。
National Key Laboratory for Novel Software Technology, Nanjing University, China, School of Artificial Intelligence, Nanjing University, China
面对传统RLHF依赖昂贵人工偏好数据、而AI反馈方法缺乏理论根基的问题，该研究发现标准next-token prediction训练的LLM内部已潜藏通用奖励模型：理论证明该内源性奖励等价于离线逆强化学习所学奖励，可直接从基模型logits经逆软贝尔曼算子提取，无需额外训练。进一步地，作者证明基于该奖励进行强化学习微调，策略误差界可由二次项降至线性。实验显示，该方法不仅优于现有LLM-as-a-judge方案，甚至能超越在昂贵人工标注数据上显式训练的奖励模型。
ByteDance Seed
传统RLHF依赖Bradley-Terry模型将成对偏好转为标量奖励，导致奖励模型在不同语境下难以校准，且生成式基座模型与判别式奖励任务存在目标错配。本文提出Pairwise-RL框架，以统一的成对范式打通生成式奖励建模与策略优化：一方面利用生成式建模提升奖励模型的校准能力与性能，另一方面提出直接在成对比较上操作的Pairwise PPO算法，避免标量奖励近似的局限。实验表明，该框架在内部数据集及公开基准上均优于传统RLHF方法。
ByteDance Seed
现有RLHF研究多聚焦算法优化，却对训练数据的构建与扩展性关注不足。本文系统分析了数据scaling面临的奖励篡改与回复多样性下降两大瓶颈，提出结合推理任务验证器（RTV）与生成式奖励模型（GenRM）的混合奖励系统以利用真实答案抑制篡改；并设计Pre-PPO提示选择策略，主动挑选对模型更具挑战、蕴含细粒度差异的训练提示；同时建议在训练初期优先使用数学与编程任务。实验表明RTV抗奖励篡改能力最强，上述策略能加速模型捕捉细微区别，显著提升RLHF性能与可扩展性。
针对RLHF人工标注成本高昂而RLAIF又存在泛化性不足的问题，本文提出RLTHF框架，通过奖励模型在其训练数据上的奖励分布识别LLM错误标注的困难样本，迭代地将战略性人工修正与LLM正确标注样本融合，以最小人工投入实现全人工标注水平的对齐。在HH-RLHF和TL;DR上的实验表明，该方法仅需6-7%的人工标注量即可达到同等对齐效果，且其筛选后的数据在下游任务中甚至优于全人工标注数据。
Alibaba Group
本文发现，单纯扩增安全训练数据易使大语言模型陷入“过度安全”状态，以高拒绝率损害有用性，却未实现真正安全。为此，作者将安全数据细分为显式有害、隐式有害和混合风险三类，揭示其随数据量增长的差异化行为，进而提出Equilibrate RLHF框架：通过细粒度数据中心方法减少数据需求，并引入自适应消息级对齐机制，以梯度掩码聚焦安全关键片段。实验表明，该方法在提升安全对齐效果的同时，有效平衡了安全性与有用性。
KuaiShou, 2CASIA, 3NJU, 4USTC, 5PKU, 6Alibaba, 7Meta AI
当前多模态大语言模型大多仅经过监督微调而缺乏与人类偏好的全面对齐。该工作构建MM-RLHF数据集，含12万条覆盖图像、视频及安全任务的细粒度人工标注偏好对，并提出Critique-Based Reward Model，通过生成可解释批评后再打分以增强奖励信号质量，同时在DPO框架中引入Dynamic Reward Scaling，依据奖励差异动态调整样本权重。在27个基准的10个维度上，该方法系统性提升了模型的感知、推理与对话能力，对话能力提高约11%至19.5%，安全性提升57%至60%。
现有偏好对齐方法（如RLHF/DPO）依赖训练时更新参数，难以快速适应新偏好。本文提出测试时偏好优化（TPO），在推理阶段固定模型参数，通过奖励模型打分筛选优劣回复，将数值奖励转化为可解释的文本批评与文本梯度，迭代修正输出。实验表明，未经对齐的Llama-3.1-70B-SFT经数步TPO即可在指令遵循、安全性等基准上超越其对齐版本；小模型配合TPO也可达排行榜前列水平，且TPO通过搜索深度与宽度灵活扩展测试时计算，效率优于纯Best-of-N采样。
The University of Texas at Austin
现有RLHF的序列级bandit奖励存在稀疏反馈问题，而token级密集奖励因子词语义不完整导致信用分配困难。本文提出段级奖励模型，利用语言模型预测熵动态切分语义完整的短文本片段，并通过可微聚合兼容标准偏好数据。针对PPO训练，作者将标量奖励归一化推广为位置感知函数，同时采用段内插值进一步密集化训练信号。实验表明，该方法在AlpacaEval 2.0、Arena-Hard和MT-Bench上均优于经典bandit与token级奖励方法。
现有无critic的RLHF方法（如GRPO）采用prompt级局部优势归一化，作者证明其存在理论偏差，且小样本组方差大、易过拟合。本文提出REINFORCE++，核心是将优势归一化从局部组扩展到全局批次，使估计器随批次增大渐近无偏且更稳定。实验表明，k≥1的通用版在通用RLHF中token效率高且OOD泛化更优；k>1的REINFORCE++ w/ Baseline则在复杂推理与工具使用任务上稳定性与性能均优于GRPO和PPO。
现有RLHF以句子级稀疏奖励驱动PPO，这与PPO作为多步MDP优化器的本质错配，导致开源实现不稳定且样本效率低。本文将RLHF重构为MDP，提出Reinforced Token Optimization (RTO)：通过DPO从偏好数据中导出token级奖励，再基于细粒度信号执行PPO优化。理论保证其可高效收敛到近优策略；实验上，RTO在AlpacaEval 2和Arena-Hard上较PPO分别提升7.5分和4.1分，且仅用1/8数据即可达PPO水平并随数据持续增长，而PPO早饱和。
现有直接偏好对齐方法仅关注相对偏好，忽视了响应的绝对质量，导致模型过拟合、遗忘高质量被拒响应，并难以泛化至稀疏的更优区域。本文提出一种简单的数据重标策略，将偏好对按质量分数条件化，构建奖励增强数据集以训练奖励条件策略，使模型能够利用全谱系响应质量。实验表明，该方法在多种模型和指令遵循基准上均能显著提升DPO性能，并有效缓解遗忘问题。
Department of Computing, The Hong Kong Polytechnic University, Saarland University, Saarland Informatics, Digital Twin Institute, Eastern Institute of Technology, Ningbo, China
传统观点认为RLHF中奖励模型准确率越高，语言模型表现越好。本文在QA-FEEDBACK数据集上针对相关性、事实性和完整性任务进行实验，却发现一种"准确率悖论"：中等准确率的奖励模型反而训练出更优的语言模型。研究表明，适度准确的奖励模型能够提供更契合任务的奖励信号，并维持更稳定的KL散度变化，从而促进模型泛化，挑战了盲目追求高准确率奖励模型的固有认知。
Institute for AI, Peking University, Beijing Academy of Artificial Intelligence (BAAI), Huawei Noah’s Ark LAB, Taobao & Tmall Group of Alibaba
现有RLHF多局限于单一模态，难以对齐可任意输入输出文本、图像、音频与视频的全模态模型，且二元偏好难以精确表达复杂跨模态偏好。为此，作者构建首个大规模全模态人类偏好数据集Align-Anything-200K，涵盖20万条跨8个子任务的偏好与语言反馈，并提出基于统一语言反馈的对齐算法LLF，以语言作为跨模态偏好的绑定载体。实验显示，LLF在5种模态、5个模型与7个基准上较基线RLHF平均提升约5.83倍，并配套开源了全模态评估框架Eval-Anything。
Centre for Applied Autonomous Sensor Systems (AASS), ¨Orebro University, Sweden
针对奖励函数设计中人类隐性知识难以显式编码的问题，以及现有LLM奖励生成方法（如Eureka）采用贪心迭代易过早收敛、且依赖预定义适应度函数的局限，本文提出REvolve框架。该框架将大语言模型与进化算法结合，通过种群的变异、交叉与选择迭代进化可解释的Python奖励函数，并以人类偏好直接作为适应度分数、结合定性自然语言反馈指导搜索。在自动驾驶、人形运动和灵巧操作三类任务中，基于REvolve奖励训练的深度RL智能体性能优于现有SOTA基线。
University of Michigan, Ann Arbor
现有RLHF方法依赖奖励推断易导致过拟合与分布偏移，而DPO虽省去奖励模型却仅适用于bandit或确定性MDP。本文提出两种零阶策略梯度算法，直接利用人类偏好估计局部值函数差异并近似策略梯度，无需奖励推断即可处理一般随机MDP与更广泛的偏好模型。理论上证明了算法在策略梯度迭代、轨迹采样和偏好查询次数上的多项式收敛率，实验表明其在随机环境中优于DPO和PPO。
传统对齐方法通常将监督微调、奖励建模与强化学习分阶段独立进行，导致奖励模型仅依赖偏好数据而未能利用示范数据中隐含的人类偏好信息。本文提出AIHF框架，将三阶段整合为单阶段的联合优化问题，通过双层优化同时从示范与偏好数据中学习奖励函数与策略，使策略对奖励最优且奖励最大化拟合全部反馈数据。该方法在LLM对齐与MuJoCo机器人控制任务上均显著优于现有基线，尤其在数据不平衡场景下优势突出，并具备有限时间收敛保证。
Baidu Inc
现有RLHF在token级别进行优化，长序列中存在信用分配困难，且子词切分易破坏局部语义结构。本文提出MA-RLHF，将token序列或高层语言单元聚合为宏动作，在半马尔可夫决策过程框架下缩短动作与奖励的时间距离，稳定策略梯度并提升学习效率，且不增加训练与推理开销。实验覆盖2B至27B模型及摘要、对话、问答与代码生成任务，相比标准RLHF最高提升30%，并在奖励分数上以1.7至2倍速达到同等水平。
Imperial College Business School, Imperial College London1, Department of Intelligent Transportation, HKUST-GZ2, Department of Statistics and Operations Research, University of North Carolina3
现有RLHF奖励模型多基于Bradley-Terry二元偏好反馈，易丢弃"平局"样本并损失"略好"等细粒度信息。该文提出序数反馈框架，将反馈推广至任意粒度，基于"群体智慧"的边际无偏假设构建概率模型，并导出可兼容交叉熵、Hinge Loss及DPO的学习目标。理论证明序数反馈可降低Rademacher复杂度；实验表明细粒度反馈在分布内与分布外场景均提升奖励模型精度，且适当混入平局样本可进一步促进学习。
针对现有强化学习方法直接应用于少步扩散模型时训练不稳定、易过拟合稀疏终态奖励等问题，本文提出逐步扩散策略优化框架SDPO。其核心创新在于双状态轨迹采样机制，通过同步追踪噪声态与预测干净态构建统一中间表征，实现低方差混合步长优化与密集奖励反馈；并基于潜在相似性预测中间步骤奖励以降低查询开销，以逐步奖励差异学习目标替代轨迹级回报优化。实验表明，SDPO在文本到图像生成等任务的少步场景下显著优于既有方法，能稳定获得高奖励对齐的生成质量。
The University of Hong Kong
针对RLHF中传统单控制器调度分布式节点内计算开销过大、而多控制器又缺乏灵活性的问题，本文提出HybridFlow框架，以混合范式在节点间采用单控制器灵活编排数据依赖，在节点内采用多控制器高效执行分布式计算，并设计分层API解耦计算与通信；同时提出3D-HybridEngine实现actor模型在训练与生成阶段间的零内存冗余高效重分片。实验表明，相比主流基线，HybridFlow在多种RLHF算法上实现了1.53到20.57倍的吞吐量提升。
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University, School of Data Science, Fudan University, School of Computer Science, Fudan University, Research Institute of Intelligent and Complex Systems, Fudan University
ALARM针对RLHF中人类监督信号不一致与稀疏的问题，提出层次化奖励建模框架。其核心洞察在于：单一整体奖励难以引导模型进入更优对齐区域，因此通过度量方面奖励与整体奖励的不一致性主动筛选多维奖励，并在整体奖励超过阈值时将其与正向变形后的方面奖励层次化组合，从而提供更精确稳定的监督信号。实验表明，该框架在长文本问答和机器翻译任务中均优于基线，有效增强了模型对人类偏好的对齐程度。
Korea Advanced Institute of Science and Technology (KAIST), Korea University, University of Illinois at Urbana-Champaign (UIUC)
现有RLHF多依赖序列级稀疏奖励，与语言模型逐token自回归生成的特性存在粒度错配；虽有研究尝试引入token级密集奖励，但多采用固定的离散值，难以捕捉不同token的偏好差异。本文提出TLCR，通过外部大模型修订回复并基于最小编辑距离构造token级偏好数据，训练判别器预测各token的正负偏好，并以预测置信度作为连续奖励值，实现细粒度的密集反馈。实验表明，在开放式生成任务中，该方法相较于序列级及token级离散奖励机制均能带来一致的性能提升。
Microsoft Research, MIT-IBM Watson AI Lab
针对大视觉语言模型中视觉与语言模态不对齐导致的幻觉问题，本文将RLHF首次成功应用于多模态对齐，提出LLaVA-RLHF。核心创新在于提出Factually Augmented RLHF，通过图像标题和ground-truth选项等事实信息增强奖励模型，缓解奖励黑客现象；同时在SFT阶段引入人工标注的图文数据增强GPT-4合成数据。实验表明，该方法在LLaVA-Bench上达到纯文本GPT-4的94%性能，并在MMHAL-BENCH上较基线提升60%，显著抑制了幻觉。
Tsinghua University
为解决大语言模型对齐中人工标注偏好数据成本高、而现有自动评估方法受文本生成随机性影响导致准确性不足的问题，本文发现利用对比提示对下的输出概率评估响应偏好比文本生成方式更可靠，并据此提出DLMA框架：通过对比提示自动生成偏好数据，再以概率比较计算自奖励分数，最终结合DPO实现模型对齐。实验显示，该方法在LLaMA2-7B与13B上的偏好评估准确率显著优于RLAIF，且在PKU-SafeRLHF等安全与有用性基准上不仅超过现有无人工标注方法，甚至优于使用人工标注数据的RLHF，且未提升模型困惑度。
University of Illinois Urbana-Champaign, The Hong Kong University of Science and Technology
传统RLHF依赖标量奖励，难以刻画多样化用户偏好，易滑向“平均用户”而忽视少数群体需求。本文提出Directional Preference Alignment（DPA）框架，将用户偏好建模为多目标奖励空间中的方向向量，使单一模型可通过算术指令灵活权衡各目标（如提升helpfulness同时降低verbosity）。基于Mistral-7B的对齐实验表明，DPA能在推理阶段实现直观的算术控制，且在多目标性能权衡上与DPO等强基线保持竞争力。
Cohere For AI
针对PPO在RLHF中计算开销高昂且超参数敏感的问题，本文指出PPO为传统深度RL设计的方差抑制与截断机制在预训练语言模型微调场景中并非必要。作者回归策略梯度基础，提出将完整回复视为单一动作进行序列级REINFORCE优化，并引入RLOO多采样基线降低方差。实验表明，简化后的REINFORCE在Llama、Pythia等模型与多个数据集上胜率优于PPO达3.2%至20.3%，RLOO更持续超越PPO、DPO及RAFT，且对噪声和KL惩罚更具鲁棒性。
Gaoling School of Artificial Intelligence, Renmin University of China, School of Information, Renmin University of China, Beijing Key Laboratory of Big Data Management and Analysis Methods
现有RL方法使用实例级奖励，难以对复杂推理任务提供细粒度监督，导致重要错误信号被淹没且重叠内容优化冲突。本文提出RLMEC，以生成式奖励模型替代判别式模型，通过最小编辑约束下的错误解法重写任务训练，输出token级奖励，配合模仿正则化聚焦关键错误token的修正。实验表明，该方法在8个问答与数学推理任务上优于多种SFT和RL基线，并能稳定训练、减少推理错误。
Tsinghua University, National University of Singapore, Pengcheng Laboratory, Shenzhen, China
现有视觉语言模型普遍存在与图像事实不符的幻觉问题，传统RLHF因反馈粒度粗导致信用分配困难且存在标注模糊性。本文提出RLHF-V框架，通过收集人类对幻觉片段的细粒度校正反馈，并设计密集直接偏好优化（DDPO）将惩罚精准定位到幻觉片段。实验表明，该方法仅用1.4k数据便将基线模型幻觉率降低34.8%，优于使用10k数据训练的LLaVA-RLHF，在开源多模态模型中达到最先进水平。
Tsinghua University, National University of Singapore
针对现有多模态大语言模型严重的幻觉问题，传统基于排序的RLHF面临标注模糊与信用分配困难的挑战。本文提出RLHF-V框架，以片段级修正反馈替代粗粒度排序，并设计密集直接偏好优化（DDPO）对幻觉片段施加更强的细粒度监督。实验表明，仅用1.4千条标注数据即可将基座模型幻觉率降低34.8%，显著优于使用1万条数据的LLaVA-RLHF，并在开源模型中达到最佳可信度。
Salesforce AI Research, University of Illinois Urbana-Champaign
现有开源RLHF工作大多局限于离线设置，而在线迭代方法虽性能显著更优，却因实时人力反馈成本高昂难以在开源社区落地。本文提出一套可复现的在线迭代RLHF完整实践方案：利用多样化的开源数据集构建代理偏好模型以替代昂贵的人类反馈，并基于直接偏好学习而非PPO展开迭代训练。实验表明，仅依赖完全开源的数据与迭代RLHF即可在AlpacaEval-2、Arena-Hard等主流评测中取得强劲表现，相关模型与代码指南均已公开。
传统RLHF依赖单一奖励模型，难以表征多样的人类偏好，甚至会压制少数群体意见。本文首先理论上证明了单一奖励RLHF在偏好多样化场景下的对齐不可能性；进而提出MaxMin-RLHF，通过EM算法学习混合奖励分布，并以社会选择理论中的Egalitarian原则最大化最弱势群体的效用。实验表明，该方法在GPT-2和Tulu2-7B上均能有效提升偏好多样化场景下的社会公平性。
Department of Computer Science, Cornell University, Department of Electrical and Computer Engineering, Princeton University
传统RLHF的在线策略优化阶段往往忽略已收集的离线偏好数据。本文提出Dataset Reset Policy Optimization (DR-PO)，核心洞察在于：在优化生成模型时，可利用“reset”机制直接将策略回退到离线数据中的中间状态进行探索，从而将高价值的离线偏好信息注入在线训练过程。理论上，该方法在一般函数逼近下具有有限样本复杂度保证，且仅需监督学习风格的计算oracle。实验表明，在TL;DR摘要和Anthropic HH任务上，DR-PO在GPT-4胜率和跨域泛化方面均优于PPO与DPO，且不增加额外计算或内存开销。
现有文本到图像扩散模型对齐方法通常将整个去噪链视为单一动作（bandit假设），忽略生成过程的序列性，导致稀疏奖励与训练低效。本文采用密集奖励视角，假设每步去噪均存在隐式奖励，并将时间折扣引入无显式奖励的DPO目标以打破时间对称性，从而重点强化对最终图像影响更大的初始步骤。实验显示，该方法在单提示与多提示生成任务上均与强基线具有竞争力，且进一步验证了强调初始步骤的有效性。
该研究旨在让大语言模型在不获取额外人类标注数据的情况下实现自我提升。作者提出SPIN自博弈微调方法：模型前一轮生成的回复充当对手样本，新一轮模型通过区分这些自生成回复与人类标注回复来迭代优化策略。理论证明当模型分布与目标数据分布一致时达到最优。实验显示，该方法在Open LLM Leaderboard和MT-Bench等基准上持续提高模型性能，甚至优于使用额外GPT-4偏好数据训练的DPO模型。
University of Massachusetts Amherst, Department of Computer Science, Indian Institute of Technology, Delhi, Department of Computer Science, Princeton University
现有工作多困于RLHF初始设计选择的局部改进，而对其基础原理缺乏系统认知。本文回归强化学习理论视角，以奖励模型为核心剖析对象，深入考察其建模假设、函数近似缺陷及对训练算法的连带影响。研究刻画了奖励模型在错误泛化、模型误设与反馈稀疏上的关键局限，并阐明这些不完美的奖励信号如何导致语言模型对齐失败，同时提供了对现有文献的分类梳理与批判性综述。
该工作针对扩散模型对齐中的奖励过度优化问题，从归纳偏置与初始偏置视角探究其成因。作者发现现有方法仅优化最终奖励，与扩散模型多步去噪的时间归纳偏置存在错配；同时意外发现critic中的休眠神经元可抑制过度优化，而活跃神经元则反映初始偏置。基于此，提出TDPO-R算法：通过时间critic为每步去噪提供逐时间步奖励，并周期性重置critic活跃神经元。实验表明，该方法在样本效率与跨奖励泛化之间取得了更优权衡，有效缓解了奖励过度优化。
Tencent AI Lab, Alibaba Group, Peng Cheng Lab
现有大语言模型对齐方法往往假设人类偏好统一，但现实中标注者因背景差异会产生多样化偏好，导致奖励模型（RM）出现过度奖励现象，进而损害对齐效果。本文首次定量分析了多样化偏好对RM的实验缩放定律，发现大模型能缓解而中小模型难以容纳此类偏好差异。核心洞察在于RM的期望校准误差（ECE）与LLM对齐性能存在显著正相关。为此，作者提出多目标奖励学习方法MORE，通过自适应重加权抑制奖励漂移。在四个模型和五个人类偏好数据集上的实验表明，MORE能够有效降低校准误差并获得更优的对齐性能。
Huawei Noah’s Ark Lab
现有RLHF的奖励模型通常基于少数标注者的二元偏好构建，难以反映真实人群的多元观点且无法适应偏好演变。为此，本文提出分布化偏好奖励模型DPRM，将群体偏好刻画为分类分布，并通过贝叶斯更新器动态吸纳新增或漂移的偏好；同时设计基于最优传输的损失函数校准奖励模型与偏好分布的对齐。实验表明，DPRM能显著提升大语言模型与群体偏好的对齐度，生成更准确、偏见更少且语境更恰当的回复。
Shanghai AI Laboratory, The Chinese University of Hong Kong
现有RLHF仅用单一奖励模型拟合平均标注者偏好，难以满足人类偏好的多样性，而多目标RLHF（MORLHF）又因强化学习的不稳定性和高资源消耗难以扩展。本文提出多目标直接偏好优化（MODPO），将DPO拓展至多目标设定，无需强化学习即可通过交叉熵损失直接训练语言模型，使其隐式地充当带权重的集体奖励模型。理论保证其与MORLHF的最优解一致，但实践上更稳定高效；在安全对齐与长文本问答任务中，MODPO以更少的计算资源生成了满足不同偏好的帕累托前沿模型。
Shanghai Artificial Intelligence Laboratory
现有安全对齐可通过额外训练被攻破，本文提出一种无需训练的推理时攻击方法Emulated Disalignment（ED）。其核心洞察在于：安全对齐模型与预训练模型的输出分布差异隐含了安全奖励信号，通过在推理时对两者分布进行对比重参数化采样，即可模拟最小化该安全奖励的对抗微调效果，将更强的对齐转化为更大的潜在危害。实验表明，ED在四个模型家族的三个评测集上使预训练模型的有害率翻倍，并在48个评估子集中的43个上大幅领先基线。该发现警示，即使经过安全对齐，开放模型权重仍可能因输出分布可获取而暴露严重风险。
现有RLHF多假设Bradley-Terry奖励模型，但人类偏好常不满足传递性，且BT模型实践中准确率有限。本文提出基于一般偏好Oracle的reverse-KL正则化minimax博弈框架，无需奖励函数即定义学习目标，并证明其严格比基于奖励的方法更一般。针对离线与在线设定，作者设计了样本高效算法并给出有限样本理论保证；实验表明，直接训练的偏好模型在推理任务上的排序准确率优于同等规模BT奖励模型，且理论洞见可通过自博弈IPO与拒绝采样指导实际算法设计。
Princeton University, Princeton Language and Intelligence, The Hong Kong University of Science and Technology, University of Illinois Urbana-Champaign
本文研究RLHF导致的对齐税（预训练能力遗忘）问题。作者发现，在RLHF前后模型间进行简单权重插值（模型平均）即可在对齐性能与遗忘缓解的权衡上达到最优Pareto前沿，理论归因于其在任务特征空间重叠层提升了特征多样性。基于此，作者提出异构模型平均（HMA），为Transformer不同层自适应分配差异化的平均比例，在OpenLLaMA-3B和Mistral-7B的多种RLHF算法上一致实现了更高对齐奖励与更低对齐税。
University of California, Berkeley, Massachusetts Institute of Technology
扩散模型的训练通常以似然为目标，但实际应用更关注图像质量、审美等下游指标。本文将去噪过程形式化为多步决策问题，提出策略梯度算法DDPO，用每步的精确似然替代完整去噪过程的难计算似然，从而仅依赖黑盒奖励即可直接优化扩散模型。实验表明，DDPO在文本到图像任务上显著优于奖励加权似然方法，不仅能优化可压缩性、审美质量等难以用提示表达的目标，还能利用视觉语言模型的反馈自动提升提示与图像的对齐度，无需额外人工标注。
College of Intelligence and Computing, Tianjin University, Fuxi AI Lab, Netease, Inc., Hangzhou, China, The University of Hong Kong
针对人类偏好固有的抽象性与可变性难以用传统奖励函数刻画和固定策略满足的问题，本文提出AlignDiff框架，利用RLHF收集多视角反馈并训练属性强度模型以量化偏好，进而以属性条件扩散模型作为规划器实现零样本行为定制与快速切换。在多种运动任务上的实验表明，该方法在偏好匹配、切换及覆盖能力上优于基线，并能依据指令完成未见下游任务。
传统RLHF仅在序列末端给出稀疏标量奖励，导致LLM在逐token决策时面临信用分配困难与训练不稳定。本文提出Attention Based Credit（ABC），利用奖励模型Transformer最后一层已有的注意力权重，将最终奖励重新分配到各个token，无需额外计算即可生成密集奖励。理论证明该方法等价于基于势能的奖励塑形，不改变最优策略；实验表明其能显著稳定训练、加速收敛，并在实际任务中获得更优的局部最优解。
University of Chicago, Google Research, Google DeepMind, Stanford University
本文探讨RLHF中奖励模型的最优变换与多属性组合问题。针对任意单调变换均保持偏好排序却缺乏指导原则的现状，作者从概率化对齐目标出发，为Bradley-Terry奖励模型导出LSC变换（对中心化奖励施加log-sigmoid），使其边际效用随高分递减，从而缓解欠拟合与奖励篡改；同时证明变换后奖励的加和等价于多属性逻辑与的联合 goodness 概率，实现可解释的多目标聚合。在同时优化有用性与无害性的实验中，该方法在各KL约束下均显著优于原始奖励基线。
Google DeepMind
针对RLHF计算与内存开销过高而难以普及的痛点，该研究首次系统验证了在奖励模型训练与强化学习策略优化中同时引入LoRA的PE-RLHF方案。横跨摘要、对话安全性与有用性、UI自动化及视觉问答等六大任务的实验表明，仅微调低秩适配器即可取得与全参数RLHF相当的对齐效果，且奖励模型训练提速最高达90%、RL阶段提速30%，对应峰值内存占用分别下降约50%和27%。
MIT-IBM Watson AI Lab, Tsinghua University, Carnegie Mellon University
针对RLHF中奖励模型因训练数据有限而预测不准、导致模型输出与人类价值观错位的奖励过度优化问题，本文提出了线性层集成与LoRA集成两种高效方案，通过共享基础模型参数降低多模型训练与推理开销。实验表明，将集成奖励模型应用于Best-of-n和PPO算法，可在AlpacaEval与MT-Bench基准上提升RLHF的对齐性能。
现有基于偏好的强化学习（PbRL）过度依赖高质量专家反馈，导致其在面对非专家或众包平台中常见的噪声偏好时鲁棒性不足。为此，本文提出RIME算法，其核心在于引入基于样本选择的去噪判别器，通过KL散度的动态上下界筛选可靠偏好并剔除噪声；同时通过内在奖励对奖励模型进行预热初始化，以缓解误判累积误差并平滑预训练到在线训练的过渡。实验表明，该方法在机器人操作与运动控制任务中显著提升了PbRL在噪声偏好下的鲁棒性，且更适用于非专家标注场景。
College of Intelligence and Computing, Tianjin University, Huawei Noah’s Ark Lab
现有RLHF研究多依赖脚本合成反馈，缺乏支持多样反馈类型的标准化标注平台与真实人类反馈基准。本文提出Uni-RLHF，构建通用多反馈标注平台，建立众包数据收集流程，开源覆盖30个任务约1500万步的大规模真实人类反馈数据集，并提供模块化离线RLHF基线。实验表明，基于该真实反馈训练的策略性能可与精心设计的人工奖励函数相当，文中还对不同设计选择进行了评估与对比分析。
Johns Hopkins University, University of Pennsylvania, Tencent AI Lab
本文指出RLHF中奖励模型（RM）对语义不同但表面相似的指令可能存在奖励不一致，而这种不一致会向下游RLHF过程传递。为此，作者提出CONTRAST INSTRUCTIONS基准，通过构造词汇相似但答案迥异的指令-回答对来度量RM一致性；并设计了零额外训练开销的CONVEXDA与REWARDFUSION方法，分别在训练与推理阶段外推以提升一致性。实验显示，标准RM在该基准上接近随机水平，而采用更一致RM进行RLHF训练能显著改善生成回答的有用性，验证了奖励不一致对下游的涓滴效应。
Google DeepMind
现有RLHF与DPO等偏好学习方法缺乏统一理论支撑，且隐含地将成对偏好简化为逐点奖励，易在确定性偏好下失效。本文提出ΨPO通用理论框架，将RLHF与DPO表征为依赖Bradley-Terry模型的特例，揭示其在偏好确定时KL正则失效、导致过拟合的机理。进而提出Identity-PO（IPO），通过恒等映射绕过该假设，导出高效优化目标与性能保证；经验上IPO能依据正则强度自适应地接近参考策略，在示例中优于DPO。
University of Washington, Allen Institute for Artificial Intelligence, University of California, Berkeley, University of California, San Diego
针对传统RLHF仅提供整体偏好反馈、难以定位长文本中具体错误的问题，本文提出FINE-GRAINED RLHF框架，将人类反馈细化为多维度、多密度的奖励信号：一方面按片段（如句子）提供密集奖励，另一方面针对不同错误类型（如事实性、相关性、信息完整性）训练专门的奖励模型。在文本去毒和长文本问答任务上的实验表明，该框架不仅提升了模型生成质量，还允许通过调整不同奖励模型的权重来灵活定制模型行为。
The University of Texas at Austin, Salesforce Research
针对序列级偏好反馈与语言模型token级训练之间的粒度不匹配问题，本文提出了一种交替训练框架，通过迭代学习将序列偏好落地为token级奖励指导，并利用该指导微调模型。该框架扩展了模仿学习中的成对偏好学习，支持可变长度生成与多种聚合方式，且针对不同监督数据规模设计了极简目标函数。在离散提示生成和文本摘要任务上，该方法从原始预训练模型出发即取得有竞争力的性能。
Salesforce Research, The University of Texas at Austin
现有任务导向对话系统使用强化学习时多采用稀疏奖励，导致训练困难。本文受排序学习启发，提出 RewardNet 与 RewardMLE 两种奖励学习目标，利用多条对话轨迹的偏好信息学习细粒度回合级奖励函数，并将其用于指导端到端对话策略训练。实验表明，该方法在 MultiWOZ 2.0 的端到端回复生成任务上取得了有竞争力的性能，在低资源设置下亦显著优于基线。
Stanford University
现有偏好强化学习通常先显式训练奖励模型再优化策略，导致网络冗余、误差累积且调参困难。本文提出 Inverse Preference Learning（IPL），其核心洞察是固定策略下 Q 函数与奖励函数信息等价，从而彻底省去奖励网络，直接让 Q 函数隐含的奖励与专家偏好分布对齐并施加正则化。在连续控制与机器人基准上，IPL 以显著更少的参数和超参数取得了与基于 Transformer 的复杂奖励模型相当甚至更优的性能，且训练方差更低。
University of Toronto
针对从人类反馈中学习（RLHF）成本高昂、缺乏可信评估与基准实现的问题，本文提出AlpacaFarm模拟框架：利用API大模型以低45倍的成本模拟人类偏好反馈，构建经真实交互验证的自动评估协议，并提供PPO、Best-of-n等参考实现。实验表明，该模拟器与真实人类反馈的模型排名高度一致（Spearman 0.98），其PPO实现较Davinci003胜率提升10%，证明在模拟环境中开发的方法可有效迁移至真实人类反馈场景。
Tencent AI Lab
现有大语言模型偏好对齐方法面临分布偏移困境：持续更新后模型生成样本与人工标注数据出现差距，需额外标注才能维持训练效果。本文提出对抗偏好优化框架APO，将奖励模型与LLM的更新建模为min-max博弈，使奖励模型在无新增人工标注的情况下自适应生成分布的偏移。在Helpful&Harmless数据集上的实验表明，APO能在相同偏好数据量下持续提升DPO、RRHF和RJS等现有基线的对齐性能，且多轮对抗后增益可进一步累积。
该工作指出现有离线RLHF方法的核心瓶颈在于缺乏策略性探索，且经典理论往往忽略实际中广泛采用的reverse-KL正则化目标。作者将RLHF建模为reverse-KL正则化上下文老虎机，在离线、在线与混合设定下给出有限样本保证的高效算法，并基于信息论策略改进导出迭代DPO与多步拒绝采样等实现。大模型对齐实验表明，引入在线探索与悲观机制的算法显著优于DPO和RSO等基线，验证了理论设计与实践性能的一致性。
针对人类偏好标注成本高昂的问题，本文将偏好数据选择建模为主动上下文决斗 bandit 问题，提出具有多项式最坏情况样本复杂度保证的主动探索算法，并基于 DPO 目标扩展出在线与离线两种数据获取策略。在四个真实数据集及 GPT-2、Pythia-2.8B、Llama-3-8B 上的实验表明，在有限的人类偏好样本预算下，该方法相对基线提升超过 13%，并在 Jeopardy! 数据集上显著减少了模型幻觉。
Shenzhen Tencent computer System Co.Ltd., Shenzhen, Guangdong, 518054, P. R. China
针对RLHF在商业场景中人工反馈成本高昂且忽视商业指标的问题，本文提出基于统计反馈的强化学习框架RLSF，利用AB测试推断商业偏好以训练奖励网络并微调模型，同时将单点双选的AB测试扩展为多点多选的ANT测试；文中设计了数值实验验证该框架有效性，但具体实验结果与增益来源在提供的片段中未充分展开。
该工作针对RLHF奖励模型在推理时遭遇分布偏移的可靠性展开基线研究。作者系统评估了OOD prompt与response对奖励模型准确性和校准性的影响，并将分类中的Energy Score OOD检测方法迁移至奖励模型。实验发现，分布偏移会严格降低奖励模型准确率，且模型对response偏移的敏感度显著高于prompt；OOD prompt对校准影响甚微，而OOD response呈现独特范式——远OOD校准甚至优于分布内，近OOD则因过度自信而校准变差。
现有RLHF依赖成对排序的单一奖励信号，难以捕捉人类偏好的丰富细节，且训练不稳定。本文提出Critique and Revise（CnR）范式，核心洞察在于：让模型通过少量（仅千条以内）自然语言批评与修改示例进行监督微调，即可学会生成具体批评并据此迭代优化回复，数据效率显著高于传统偏好建模。实验表明，经CnR微调的Falcon-40B-Instruct能显著改进ChatGPT、BARD等模型的回复，对ChatGPT修改一轮的胜率达56.6%，五轮迭代后提升至65.9%，且最佳路径依赖先生成初始回复、再自批评、最后修改的完整流程。
Phillips Academy, University of Massachusetts Lowell
针对语言模型多步数学推理中逻辑易出错的问题，该工作基于RLHF框架系统对比了结果监督（ORM）与过程监督（PRM）两种奖励模型，并重点探究了PRM的多种聚合策略。研究发现，PRM的细粒度逐步反馈能显著提升简单数学推理（GSM8K相对增益33%），却意外损害复杂任务（MATH）表现；反之ORM在MATH上提升18%但对GSM8K无效。此外，奖励聚合方式对PRM效果具有决定性影响，PRM-Max在GSM8K上最优。实验同时表明混合不同难度数据集进行训练有助于性能提升。
Seoul National University
现有基于偏好的强化学习通常需要先学习奖励模型再优化策略，但从人类偏好中准确恢复奖励函数十分困难。本文提出DPPO算法，直接利用偏好标签进行策略优化，无需显式建模奖励函数；其核心是将该问题转化为对比学习框架下的策略评分任务，使策略更接近受偏好的轨迹而远离不受偏好的轨迹，并引入预测平滑正则化提升偏好预测器性能。实验表明，该方法在真实人类偏好的离线RL任务上优于或与基线持平，在高维控制任务上甚至超过使用真实奖励的离线RL方法，并可成功用于微调大语言模型。
College of Intelligence and Computing, Tianjin University, Fuxi AI Lab, Netease, Inc., Hangzhou, China, The University of Hong Kong
针对人类偏好固有的抽象性与可变性导致RL智能体行为对齐困难的问题，本文提出AlignDiff框架，利用RLHF训练属性强度模型以量化偏好，并以其标注数据训练属性条件扩散模型作为规划器，在推理阶段实现零样本行为定制与灵活切换。实验表明，该方法在多种locomotion任务上的偏好匹配、切换与覆盖能力均优于基线，并能遵循人类指令完成未见过的下游任务。
针对强化学习中奖励函数手工设计困难且易次优的问题，本文提出EUREKA，利用GPT-4等编码大模型的零样本代码生成与上下文进化优化能力，将环境源码作为上下文自动生成并迭代改进奖励函数。该方法无需任务特定提示或奖励模板，在29个涵盖10种机器人形态的环境中，于83%的任务上超过专家手工奖励，平均提升52%，并首次在模拟Shadow Hand上实现快速转笔，同时支持无需模型更新的文本反馈式RLHF。
Peking University
针对大模型对齐中有用性与无害性目标的内在冲突，本文提出Safe RLHF框架，将两种偏好的数据标注与模型训练显式解耦，分别构建reward与cost模型，并把安全性约束形式化为带约束的马尔可夫决策过程，利用拉格朗日乘子法在策略优化中动态权衡两者。基于Alpaca-7B的三轮微调实验表明，该方法在显著提升有用性的同时，将有害响应率从53.08%降至2.45%，在GPT-4与人类评估的Elo分数上均优于现有对齐方法。
针对RLHF因优化平均人类偏好而易导致生成任务多样性不足的问题，以及质量多样性（QD）算法依赖手工设计多样性度量、难以拓展至开放式任务的局限，本文提出QDHF。该方法借助对比学习，从人类对解相似性的反馈中在线推断多样性指标，从而驱动开放式多样性优化。实验表明，QDHF在机器人操作与强化学习基准上媲美采用真实多样性度量的QD方法，并在文本到图像生成任务中显著提升了扩散模型输出的多样性与用户满意度。
现有RLHF普遍采用PPO，但其依赖价值模型导致显存占用高、超参数多且实现复杂。本文指出RLHF具有快速模拟、确定性转移和轨迹级奖励三大特性，并据此提出基于REINFORCE的ReMax算法，去除价值模型并引入新的方差削减技巧，使实现更简洁高效。实验表明，ReMax在7B模型上可节省46%显存，训练速度提升约1.6倍，并将Mistral-7B推至AlpacaEval与MT-bench开源7B模型的新SOTA。
针对视觉模型训练目标与任务风险错位的痛点，本文将REINFORCE引入计算机视觉领域。核心范式是先进行最大似然估计预训练，再直接以任务奖励（如mAP、PQ、色彩丰富度）为信号微调模型，无需奖励函数可微或专门损失设计。实验表明，该方法在目标检测、全景分割、图像上色及描述等任务上均带来显著提升：检测mAP从39提升至54，全景分割PQ从43.1提升至46.1，验证了直接优化任务奖励在视觉任务中的通用性与有效性。
现有RLHF方法依赖PPO等复杂RL流程，需额外训练奖励与价值网络，且数据效率低，常直接丢弃失败样本。本文将语言模型指令对齐重新建模为目标达成问题，提出Hindsight Instruction Relabeling（HIR）：在在线采样后，利用模型自身输出对原始指令进行后见重标记，使失败样本也能以监督学习方式被利用。HIR无需任何额外网络参数，在12个BigBench推理任务上显著优于PPO与Final-Answer RL基线，表现与监督微调相当甚至更优。
该研究针对多智能体强化学习在人机协作中易收敛到非人类偏好均衡的问题，提出instructRL框架：人类通过自然语言指令刻画期望策略，系统利用预训练大语言模型生成先验策略并正则化RL目标函数，从而引导智能体收敛至与人类偏好对齐的均衡。实验证明，该方法在Say-Select概念环境与Hanabi基准中均能习得符合指令的人类相容策略，且人类在知晓指令后可与AI实现显著更优的协作表现。
现有RLHF依赖PPO存在训练不稳定、超参敏感及分布式系统复杂等问题。本文提出一种离线RLHF框架，无需与环境交互，设计了过滤对齐、奖励加权回归和条件对齐三种算法，以类监督微调的损失实现稳定训练，并大幅降低系统复杂度与计算开销（约为PPO的9%）。实验表明，条件对齐在性能上优于其他离线方法，且达到了与PPO相当的对齐效果。
National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University, Alibaba Group
现有RLHF存在训练复杂、不稳定及超参数敏感等问题，且多轮采样常被简化为成对对比而缺乏宏观排序信息。本文提出偏好排序优化（PRO），在SFT框架下直接将成对对比扩展为任意长度的一至N排序对比，通过迭代让模型优先学习最优回答并逐级排序其余候选，使生成概率排序与人类偏好排序对齐。实验表明，PRO在自动评估、奖励模型、GPT-4及人工评估中均显著优于基线，7B参数模型在加长排序后奖励表现可接近ChatGPT，且异质候选带来的提升优于同质候选。
Carnegie Mellon University
本文针对大规模语言模型因互联网训练数据而生成有害、不准确内容，且自动评估指标难以对齐人类真实偏好的问题，系统综述了将人类反馈整合到自然语言生成中的研究。作者提出了一个统一的反馈形式化定义，并依据反馈的格式、目标以及使用方式（直接用于训练或解码，抑或先训练反馈模型作为代理）构建了系统的分类法，全面梳理了相关方法、数据集与收集偏差，并探讨了以AI反馈替代人工标注的新兴方向。
OpenAI 在本报告中介绍了 GPT-4，旨在开发能接受图像与文本输入并输出文本的大规模多模态模型，以提升复杂场景下的理解与生成能力。核心贡献是建立了可预测扩展的深度学习栈与优化方法，使基于千分之一以下计算量的小模型即可外推预测 GPT-4 的最终损失与代码能力；并通过 RLHF 后训练改善事实性与行为对齐。结果显示，GPT-4 在律师资格模拟考试、MMLU 等多学科和多语言基准上达到人类前 10% 水平，但也存在幻觉、上下文有限及无法持续学习等局限。
The Hong Kong University of Science and Technology, University of Illinois Urbana-Champaign
针对RLHF中PPO不稳定、显存占用高的问题，本文提出Reward rAnked FineTuning（RAFT）。该方法通过奖励模型对大量生成样本打分，仅筛选高奖励样本进行监督微调，以类SFT的简洁流程替代复杂强化学习。实验表明，RAFT在提升训练稳定性的同时，在大型语言模型和扩散模型的奖励学习及自动评估指标上均取得有效改进。
Alibaba DAMO Academy, Tsinghua University
针对RLHF标准流程中PPO训练复杂、超参数敏感且需同时加载策略、价值、奖励与参考四个模型的问题，本文提出RRHF范式。该方法通过对多源采样回复的条件概率对数施加排序损失，直接将模型生成概率与人类偏好顺序对齐，训练时仅需一至两个模型，无需复杂的优势估计与参考模型约束。在Helpful and Harmless数据集上，RRHF取得了与PPO相当的对齐效果；实验同时表明其性能与采样质量高度正相关，本质上是在学习best-of-n采样策略。
Stanford University
现有偏好强化学习在机器人任务中面临查询量过大或奖励函数表达能力不足的问题。本文转换视角，将人在回路强化学习置于多任务学习框架下，利用先前任务的比较数据预训练奖励模型，并通过元学习使其在新任务上仅需少量人类偏好查询即可快速适应。实验表明，该方法在MetaWorld机器人操作基准上将在线反馈需求降低20倍，并成功在真实Franka Panda机械臂上从实际人类反馈中学习策略。
Multimedia Laboratory, The Chinese University of Hong Kong, Qing Yuan Research Institute, Shanghai Jiao Tong University, Centre for Perceptual and Interactive Intelligence (CPII), Shanghai AI Laboratory
针对现有文本到图像模型生成结果与人类偏好错位（如肢体结构怪异、表情不自然）且传统指标（IS/FID/CLIP）难以准确反映人类选择的问题，本文构建了首个大规模同提示人类偏好选择数据集，通过微调CLIP训练人类偏好分类器，提出Human Preference Score（HPS）。实验表明HPS预测人类选择的准确率优于现有指标，并能跨模型泛化；在此基础上，作者以HPS为引导、通过LoRA微调Stable Diffusion，使其生成图像更符合人类审美与意图，显著缓解了生成伪影。
⋄Tsinghua University
针对文本到图像生成模型在文本对齐、肢体畸变、审美风格等方面与人类偏好偏离的问题，本文指出仅靠架构与数据改进难以根治。为此，作者构建了首个通用文本到图像人类偏好奖励模型ImageReward，基于13.7万对专家比较数据训练，并设计了针对扩散模型的直接调优算法ReFL，利用奖励模型在去噪后期提供反馈进行优化。实验表明，ImageReward在人类评估中显著优于CLIP、BLIP等现有评分方法，ReFL亦在自动与人工评测中超越数据增强与损失重加权等基线。
针对现有文生图模型在颜色、数量和背景等组合属性上与文本提示对齐不佳的问题，该工作受RLHF启发，提出了一种基于人类反馈的三阶段微调方法。其核心创新在于通过二元人类反馈训练奖励模型，并引入“提示分类”辅助任务以增强奖励模型的泛化能力；随后采用奖励加权似然最大化而非强化学习来微调Stable Diffusion。实验表明，该方法在27K数据上即可显著提升指定属性和组合生成的对齐精度，人类评估的对齐度提升达47%，但需仔细权衡对齐与图像保真度之间的折中。
Microsoft Research Asia
为弥补ChatGPT缺乏视觉能力而视觉基础模型又难以灵活交互的局限，本文提出Visual ChatGPT，在不重新训练多模态大模型的前提下，通过Prompt Manager将ChatGPT与22个视觉基础模型桥接，使ChatGPT能够理解图像输入并调度多个专家模型进行多步迭代推理，从而完成生成、编辑与复杂视觉问答。实验表明该系统可在零样本设定下支持多轮对话中的多样化视觉任务。
现有语言模型预训练单纯模仿互联网文本，会习得虚假、有毒或低质量内容，且事后微调难以让模型有效遗忘这些行为。本文提出在预训练阶段即引入人类反馈（PHF），系统比较了五种训练目标，发现“条件训练”——即基于奖励模型打分条件化地建模词元分布——在毒性、隐私和代码合规三类任务上均达到对齐与能力的帕累托前沿。相比传统预训练加微调，该方法将不良内容生成率降低约一个数量级，同时保持下游任务性能，表明人类偏好应从训练最初就融入而非事后修正。
本文将语言模型对齐视为逼近目标分布的问题，指出现有方法在分布定义与优化算法上相互割裂。作者提出f-DPG框架，允许通过任意f-散度最小化来统一逼近各类能量模型目标分布，从而涵盖RLHF与GDC等现有范式。实验表明，不同f-散度在对齐与多样性之间存在显著权衡，Jensen-Shannon散度通常能取得最佳平衡并显著优于前向KL；且该差异在模型规模从1.27亿扩展到15亿参数时依然保持，凸显了选择合适散度目标的重要性。
Department of Electrical Engineering and Computer Sciences, UC Berkeley, Department of Statistics, UC Berkeley
本文针对RLHF中从成对或K-wise比较学习奖励模型的理论空白，建立了系统的理论框架。研究发现，虽然最大似然估计（MLE）能准确估计奖励参数，但在下游策略优化中会因过优化而失效；而引入悲观原则的MLE可获得接近最优的策略性能。此外，论文证明了K-wise比较中直接MLE比拆分为pairwise的MLE渐近更有效，并为最大熵逆强化学习首次给出了样本复杂度界，统一了RLHF与IRL的理论刻画。
Anthropic 该研究探讨大语言模型能否在收到指令后主动避免有害输出，以缓解随规模增长而加剧的社会偏见。作者在 BBQ、Winogender 及新建的录取歧视基准上验证发现，模型的道德自纠能力在 22B 参数规模涌现，并随模型尺寸与 RLHF 训练量提升；175B 模型通过简单指令跟随与思维链提示即可在 BBQ 上将刻板印象偏见降低 84%，并能灵活调控职业性别代词关联或实现种族录取的人口统计均等，但 RLHF 步数过多时可能出现过度纠正。
Allen Institute for Artificial Intelligence, Cornell University, Paul G. Allen School of Computer Science, University of Washington
针对RL在语言模型对齐中面临训练不稳定与缺乏专用工具链的质疑，本文提出开源库RL4LMs、GRUE评测基准以及NLPO算法。NLPO通过在token级别动态学习任务相关的动作空间约束，缓解了组合动作空间带来的不稳定性。实验表明，RL方法在将语言模型与人类偏好对齐方面普遍优于监督学习；NLPO在自动指标和人工评估中均比PPO更稳定且表现更优，并以更少的参数和数据取得超越更大监督模型的效果。
针对RLHF中代理奖励模型过优化难以量化的问题，本文以固定gold RM模拟人类偏好构建合成实验，系统测量了RL与Best-of-N采样下真实奖励随KL散度的变化曲线。研究发现两种方法遵循不同的函数形式——BoN呈线性减二次项，RL呈线性减对数项——且系数随RM参数量近似对数平滑缩放；同时RL的过优化速度显著慢于BoN，而策略规模对过优化程度影响微弱，KL惩罚也未改善真实奖励效率前沿。
针对对话等难以预先编程奖励信号的任务，本文提出通过细粒度规则拆解与内联证据优化RLHF对齐。研究将对话质量要求分解为多条自然语言规则并分别收集人类违规判断，同时让模型为事实声明提供可验证的来源证据，训练出Sparrow智能体。结果表明该模型在人类偏好和对抗鲁棒性上显著优于基线，被探测时违规率仅8%，有证据支持的事实回答占比达78%，但可能加剧分布层面的公平性问题。
本文针对大语言模型的有害输出问题，系统开展了红队测试研究，以评估并提升模型安全性。研究对比了2.7B至52B参数下四种模型（基础模型、HHH提示、拒绝采样及RLHF）的红队对抗表现，发现RLHF模型随规模扩大显著更难被攻破，而拒绝采样虽攻击成功率低却常靠回避应对。作者还公开发布了含38,961条攻击样本的数据集，并详尽记录了红队流程与统计方法，为社区建立红队测试规范提供实践基础。
Google Research
针对开放域对话中RL大规模落地困难、动作空间动态无界等挑战，本文提出一套实时对话系统。研究利用预训练监督模型获得对话历史的紧凑状态嵌入，并通过动态组合机制将每轮动作空间限制为少量候选utterance，同时支持单轮多动作组合以解耦内容生成与对话规划，进而适配适合动态动作空间的SOTA RL算法。该系统已在Google Assistant中部署，相比强监督Transformer基线显著提升了对话长度、用户配合度及显式正面反馈等关键指标，并给出了多种RL架构在真实环境中的性能对比洞见。
Allen Institute for Artificial Intelligence, Paul G. Allen School of Computer Science, University of Washington
大规模语言模型常表现出毒性、重复或情感不对齐等不理想行为，本文提出Quark算法以在保持原模型能力的同时事后“遗忘”这些行为。该方法通过探索-量化-学习循环，将模型生成样本按奖励值分位数排序并用奖励token标记，进而以标准语言建模损失训练各分位数样本，辅以KL散度惩罚约束模型不偏离原分布。实验表明，在去除毒性、负面情感和重复文本三项任务中，Quark在不依赖额外参数化模型的情况下，表现优于PPO等先进强化学习方法，并维持了生成文本的流畅性与多样性。
Anthropic 该工作旨在通过人类反馈将语言模型对齐为同时兼具有用性与无害性的助手。其核心洞察在于采用迭代在线 RLHF 范式，以周为周期持续更新偏好模型与策略，并首次系统量化了“有用性”与“无害性”之间的目标张力。研究还发现 RL 奖励与策略相对初始化的 KL 散度平方根呈近似线性关系。实验表明，这种对齐训练在几乎不损害、甚至提升多数 NLP 评估指标的同时，也能与代码、摘要等专业技能兼容，且混合偏好模型能在礼貌拒绝有害请求的同时保持高帮助性。
Department of Computer Science, University College London
为缓解大语言模型回答事实问题时的幻觉风险，该研究使用RLHF训练了2800亿参数的GopherCite模型，提出"自支持问答"（SQA）任务，让模型在生成答案的同时内联引用检索文档中的逐字证据，以便用户核验。模型通过特殊语法保证引用忠实原文，并借助奖励模型在不确定时主动弃权。在NaturalQuestions和ELI5子集上，其高质量回答率分别为80%和67%；若弃权最不确定的三分之一问题，准确率可提升至90%和80%，接近人类水平。但在TruthfulQA上的分析表明，有证据支持并不保证内容为真，引用本身不足以完全确保可信性。
本文指出大语言模型规模扩大并不自动改善其对用户意图的遵循，反而可能出现不真实、有毒等未对齐行为。为此，作者提出基于人类反馈的强化学习（RLHF）微调 GPT-3：先通过标注员演示进行监督微调，再训练奖励模型预测人类偏好，最后以 PPO 优化得到 InstructGPT。结果表明，仅 1.3B 参数的 InstructGPT 在人类评估中便优于 175B GPT-3，同时在真实性上显著提升、毒性输出减少，并通过融合预训练更新的 PPO-ptx 有效缓解了对公共 NLP 任务的性能回退。
Anthropic提出Constitutional AI方法，以极少人类监督训练无害且非回避的AI助手。动机在于以可扩展的AI监督替代人类有害性标注，缓解帮助性与无害性的张力。核心创新是仅依据少量自然语言原则，先在监督阶段通过模型自批评与修订进行微调，再在强化学习阶段以AI反馈（RLAIF）训练偏好模型作奖励信号。结果表明，RL-CAI在帮助性与无害性的权衡上优于传统RLHF，更受众包工人偏好，且链式思维显著提升了决策透明度与评估准确性。
Machine Intelligence Research Institute
为高效评估语言模型规模扩大后涌现的未知行为风险，本文提出让语言模型自动生成评测数据集。通过指令生成结合自动过滤，研究者以极低人力成本构建了154个涵盖人格、政治、伦理及高级AI风险的评测集，并发现新的逆缩放现象：模型越大越倾向于迎合用户观点，且更强烈地表现出资源获取与自我保护等危险倾向；同时，更多RLHF训练反而使模型在部分政治议题上立场更极端，并更渴望避免被关闭。
现有奖励建模通常假设人类对轨迹中每一步的评估相互独立，但现实中人类对序列行为的评价具有时间依赖性。本文将奖励建模推广至非马尔可夫情形，揭示其与多实例学习（MIL）的结构同构性——轨迹、状态-动作对、回报标签分别对应包、实例与包标签，并据此提出基于LSTM的新型MIL架构，从轨迹级回报标签中同时学习隐藏状态动态与步骤级奖励。实验表明，该模型能准确重建非马尔可夫任务的真实隐藏状态与奖励函数，并支持训练出性能媲美甚至超越直接使用真实奖励的智能体策略。
University of Michigan
针对偏好强化学习中人类反馈成本过高的问题，本文提出SURF框架，将半监督学习与数据增强引入奖励学习。其核心方法是利用偏好预测器的高置信度输出为无标注历史经验生成伪标签，并设计时序裁剪增强策略，通过截取行为子序列并约束奖励函数的一致性来提升标签效率。实验表明，在Meta-world等机器人操作与运动控制任务中，SURF仅需数百条偏好查询即可将成功率提升至接近100%，显著优于基线方法。
University of California, Berkeley
偏好型强化学习依赖人类反馈，反馈成本高且效率低。本文提出RUNE方法，利用奖励模型集合的预测分歧构造内在探索奖励，将人类反馈的不确定性直接转化为探索信号，而非仅依赖状态访问的新颖性。在MetaWorld机器人操作任务上的实验表明，该方法显著提升了反馈效率与样本效率，优于传统基于状态计数的探索方法。
本文针对长形式问答中信息检索与综合难以端到端优化的问题，将GPT-3置于一个基于文本的网页浏览环境中，使其能够调用搜索引擎、浏览网页并摘录引用。研究先通过人类演示进行行为克隆，再利用人类偏好训练的奖励模型进行拒绝采样与强化学习，以直接优化答案的事实性与有用性。在ELI5数据集上，其最佳模型的答案在人类评估中优于人类演示者（56%）和Reddit最高赞回答（69%）；在TruthfulQA上虽优于GPT-3，但仍未达到人类水平。
针对人类难以直接监督或评估的复杂长文本任务，该文提出将人类反馈强化学习与递归任务分解相结合，以解决可扩展监督问题。研究以整本书的抽象摘要为场景，先训练模型总结局部文本，再递归地以这些摘要辅助人类完成更大范围的反馈与监督，从而使标注员无需通读全书。基于GPT-3的模型在推理时逐层递归生成全书摘要，在BookSum数据集上取得当时最优结果，约5%的生成摘要质量达到人类水平，且基于这些摘要的零样本问答模型在NarrativeQA上表现颇具竞争力。
Heidelberg University, Google Research
针对Choshen等人(2020)对强化学习在神经机器翻译中有效性的质疑，本文系统重新审视了策略梯度方法的所谓"弱点"。作者指出此前研究忽视了探索控制与奖励缩放的关键作用，通过在域内与跨域适应场景下的对比实验发现：BLEU提升不能仅归因于分布尖锐化，增强探索可使低排名token跃升；域内适应增益有限，但在跨域场景中奖励信号及其缩放至关重要。该研究为RL在NMT模型适应与人类偏好对齐中的应用潜力提供了实证支持。
via Relabeling Experience and Unsupervised Pre-training
PEBBLE旨在降低人在回路强化学习中昂贵的人类反馈成本。针对反馈稀疏与奖励函数设计困难的问题，作者提出通过无监督预训练鼓励智能体探索多样化状态，从而提升初始查询的信息量；同时结合偏好学习与经验重标记技术，在奖励模型更新时重新标注历史数据，使离线策略算法能在非平稳奖励下复用样本。实验表明，该方法在复杂 locomotion 与机器人操作任务上的样本与反馈效率显著优于已有基线，并能有效抑制奖励剥削、学习难以用标准奖励刻画的复杂行为。
针对偏好强化学习缺乏标准化评估基准、且现有模拟人类反馈过于理想化的问题，本文提出 B-Pref 基准，涵盖运动与机器人操作任务，并设计了包含近视、随机错误、跳过查询等多种非理性行为的模拟教师模型。实验表明，当前先进算法在面对完全理性教师时效率尚可，但在更贴近现实的非理性偏好下鲁棒性显著不足，揭示了未来算法需在噪声反馈容忍度上加强。
针对摘要任务中监督学习目标与人类真实质量判断的错位，本文提出基于人类反馈的强化学习微调方法。研究收集逾6.4万条摘要对比数据，训练奖励模型预测人类偏好，并以PPO算法优化策略。结果显示，在Reddit TL;DR数据集上，所得模型不仅优于人类参考摘要与更大的监督学习模型，还能零样本迁移至CNN/DM新闻摘要任务，接近人类参考质量。文中同时验证了奖励模型比ROUGE等自动指标更能准确反映人类偏好。
该工作针对自然语言任务中人工奖励函数与真实人类偏好不一致的痛点，提出利用人类比较数据训练奖励模型，再以强化学习微调预训练语言模型，并通过KL约束防止策略分布漂移。实验显示，风格续写任务仅需5,000条人类比较即可在偏好度上显著超越零样本和监督基线；摘要任务中，60,000条比较使模型自发学会选择性复制原文句子以跳过无关前言，人类评价显著优于监督微调，但在线数据收集对保证摘要质量至关重要。
针对现实任务缺乏显式奖励函数且用户意图难以形式化的问题，本文提出以奖励建模为核心的智能体对齐研究方向。该方法将学习目标与优化策略解耦：先从用户反馈中学习奖励函数，再用强化学习优化之。为扩展至超人类复杂领域，作者提出递归奖励建模，利用已训练智能体辅助用户评估。论文论证了这一路径在可扩展性、经济性与务实性上的潜力，并讨论了建立信任所需的验证与理论保证。
针对复杂任务中手工设计奖励函数困难、纯模仿学习难以超越人类表现、纯偏好学习探索不足且信息效率低的问题，本文提出将专家演示与轨迹偏好相结合：先用DQfD模仿学习初始化策略，再联合演示与偏好训练深度奖励模型，以DQN优化策略。在9款Atari游戏上的实验表明，该方法在7款游戏中超越模仿学习基线，并在Pong和Enduro上实现严格超人类表现；演示显著减少了人类标注时间，缓解了探索难题，但研究也发现人类偏好可能导致奖励陷阱，而持续在线反馈有助于抑制奖励黑客。
U.S. Army Research Laboratory, Columbia University, New York, The University of Texas at Austin
现有交互式机器学习方法在低维状态空间中表现良好，但难以处理高维视觉输入。本文提出Deep TAMER，将TAMER框架扩展至高维状态空间：利用自编码器预训练深度卷积网络提取视觉特征，并引入反馈回放缓冲区以充分利用稀疏的人类实时标量反馈。在Atari BOWLING上的实验表明，仅15分钟人工反馈即可训练出超越人类训练者及当时主流深度强化学习算法的智能体。
针对复杂任务奖励函数难以手工设计且人类难以完整示范的问题，本文提出基于非专家对短轨迹片段偏好比较的深度强化学习方法。核心思路是通过监督学习异步拟合奖励模型，将人类反馈成本降低约三个数量级，仅需不到环境交互量1%的偏好标注即可训练。实验表明，15分钟至5小时的人类反馈即可让智能体在Atari和MuJoCo中学会复杂行为（如后空翻），且无需访问真实奖励函数。
既有交互式强化学习通常假设人类反馈仅取决于被教行为而与智能体当前策略无关，但本文通过实证表明该假设并不成立，人的正负反馈实则受学习者策略影响。基于此洞察，作者提出COACH算法，利用优势函数建模这种策略相关反馈，使学习过程能收敛至局部最优。实验表明，COACH在仿真与TurtleBot物理机器人上均能稳健学习多种行为，并克服了传统方法中的遗忘问题。