Awesome RL with Human Feedback / 2026 / OpenReview

Cultivating Pluralism In Algorithmic Monoculture: The Community Alignment Dataset

作者：Lily H Zhang, Smitha Milli, Karen Long Jusko, Jonathan Smith, Brandon Amos, Wassim Bouaziz, Manon Revel, Jack Kussman, Yasha Sheynin, Lisa Titus, Bhaktipriya Radharapu, Jane Yu, Vidya Sarma, Kristopher Rose, Maximilian Nickel · 单位：FAIR at Meta, Governance at Meta, Social Issues Research at Meta, AI Policy Team at Meta, Center for Data Science, New York University · 来源：OpenReview · 发布日期：2026

偏好学习对齐目标设计多目标对齐数据筛选

精读笔记

Problem Setting

【Cultivating Pluralism In Algorithmic Monoculture: The Community Alignment Dataset】（Awesome RL with Human Feedback / 2026）

这篇论文真正处理的是 pluralistic alignment 的观测瓶颈，而不是某个新的 RLHF optimizer。现有 alignment pipeline 默认人类偏好可以通过 pairwise / listwise comparison 被采到，然后交给 SFT、DPO、RL 或 personalization 方法去学习。但作者指出，偏好学习的前提是候选回答集合必须包含能区分不同人偏好的 variation；如果所有候选都来自同一类价值取向，annotator 的选择就只是在狭窄 manifold 上做局部排序。

关键矛盾是：人类偏好在文化、政治、宗教、家庭、个人表达等维度上高度异质，而 LLM 默认回答经过预训练、SFT、safety tuning 和商业产品规范后，倾向于输出一种“温和、世俗、个人自治、包容、多元但中性”的标准话语。这样模型不是不知道其他价值取向，而是默认 policy 很少采到它们。以前方法卡住的地方不是 DPO 不够强，而是 preference dataset 的 candidate support 不覆盖目标偏好空间。换句话说，这是一个 support / identifiability 问题：没有出现在候选集里的偏好维度，后续算法无法从选择标签中恢复。

Motivation

作者的核心观察是 algorithmic monoculture：即使从 21 个开放和商业模型、以 temperature sampling 生成回答，输出仍沿 Inglehart-Welzel 的 secular-rational 与 self-expression 方向高度集中，而人类调查中的偏好分布明显宽得多。这个观察很重要，因为它把 pluralistic alignment 的问题从“我们应该对齐哪个社会福利函数”前移到“我们是否采到了足够可区分的偏好信号”。

已有路线不够的根源在于 candidate pre-selection 被当成工程细节处理。RLHF 数据收集通常关心 response quality、helpfulness、harmlessness、cost 和 annotator consistency，却很少把候选集合本身看成 survey design。社会调查里选项设计会强烈影响结论；偏好学习中同样如此。如果模型只给出四个不同措辞但价值取向相似的回答，那么再大的 annotator pool 也无法测出价值分歧。

因此论文缺口不是“缺一个多目标 reward model”，而是“缺一种能主动暴露 preference heterogeneity 的候选生成机制”。这也是为什么作者转向 negatively-correlated sampling：他们不是先改学习算法，而是先让数据具有判别性。

Core Idea

核心思想可以概括为：alignment data 的有效信息量主要由 candidate set 的覆盖与对比结构决定，而不是单纯由比较数量或 annotator 数量决定。传统 i.i.d. temperature sampling 只是在模型默认分布附近采样，得到的是多个相关样本；NC sampling 则把一次 preference query 设计成一个覆盖多个潜在价值方向的“实验设计”。

直觉上，这等价于把 preference elicitation 从 passive observation 改成 active contrast construction。候选之间负相关后，每个选择标签对 latent preference axis 的 mutual information 更高。一个选择不再只是说明用户喜欢 A 胜过 B，而是可能说明用户在传统/世俗、生存/自我表达、集体/个体等方向上的取向。这个 inductive bias 比简单扩大模型数或提高 temperature 更有效，因为后者仍受共同 post-training 规范约束，不能保证语义/价值维度的覆盖。

和 prior 的本质区别在于：prior 多数在“给定 preference data 后如何学习”上发力，而本文把“候选答案如何构造”视为 alignment objective design 的核心组成部分。它重新组织了信息流：模型不再只是被动生成可供比较的候选，而是被用于生成具有内部差异的选择菜单，从而让人类偏好通过选择变得可观察。

Method

方法中真正必要的机制有三层。

第一层是 human pluralism vs model monoculture 的 paired measurement。作者没有直接用 World Values Survey 问卷来声称模型有什么价值观，而是构造日常 chatbot prompts，并让人类在覆盖 IW 维度的候选回答中选择偏好，同时让 LLM 对同样 prompts 开放生成，再用 judge 映射到相同维度。这一步解决的是 measurement mismatch：社会科学价值问卷不等于用户对 LLM 回复的偏好。它的核心变化是把价值维度落到实际 LLM response preference 上。

第二层是 preference learnability stress test。作者在 PRISM prompts 上构造三种候选数据：单模型温度采样、多模型温度采样、NC sampling，然后用同一个 judge 选择偏好回答，再让 prompt steering、SFT、DPO、GRPO 学这些偏好。这个设计的目的不是证明某个算法弱，而是隔离 candidate set 对 learnability 的影响。结果显示，即便训练算法不同，只要候选同质，学习就接近无效；候选变得可分后，标准算法即可学习。

第三层是 Community Alignment dataset。数据集的机制价值在于：用 NC sampling 生成候选，让多国、多语言 annotators 在多轮对话中选择，并保留 annotator-level overlap 与部分自然语言解释。这里最重要的不是数据量最大，而是它包含 prompt-level 多人重叠和每人多轮数据，使得 distributional alignment、social choice、personalization 都有可用的 disaggregated signal。

Key Insight / Why It Works

最关键 insight 是：pluralistic alignment 的瓶颈首先是 data coverage，而不是 optimizer sophistication。DPO/GRPO 这类算法只能放大数据中已经存在的偏好差异；如果 candidate responses 没有覆盖某个价值方向，算法再强也只能在已有支持集内做排序。这一点在论文中非常有说服力：NC sampling 用一个模型就超过从 21 个模型温度采样，说明多模型 ensemble 并不自动带来价值多样性，因为这些模型共享相似的 instruction-tuning 和 safety priors。

NC sampling 有效的原因不是神秘的“更懂多元价值”，而是它提高了比较样本的可辨识性。它本质上是 better inductive bias + data coverage，不是新的 reasoning、planning、memory 或 test-time compute。候选集内部的负相关让每个 annotation 更像一个高信息量 survey item。对于 preference model，这等于增加了 label variance 和 decision boundary exposure；对于 SFT/DPO/RL，这等于提供了真正可学习的正负样本差异。

最可能的核心贡献是 candidate sampling paradigm，而不是 Community Alignment 的规模本身。数据集很有用，但没有 NC sampling 这个设计，更多 annotation 可能只是更大规模地重复主流模型的 monoculture。相反，prompt-based NC sampling 是一个低成本但强归因的改变：它直接攻击 support mismatch。

需要警惕的是评估闭环中的 judge bias。训练标签和最终 win-rate 都由 GPT-4o judge 定义，这会放大 judge-consistent 的差异。论文确实有人类调查支撑 IW 维度的重要性，但偏好学习实验更准确地说是在验证“NC sampling 让 judge-defined IW preference 更可学”。这不是致命问题，因为作者要证明 candidate diversity 影响 learnability；但如果把结果外推为真实 deployment 下的 pluralistic alignment 效果，就过度了。

另一个重要判断：所谓模型能学到 traditional / survival values，可能相当一部分是学到某些 surface discourse markers 或 stereotype templates。NC prompt 生成的 diverse responses 有时会显式标记“for the traditionalist / budget-conscious / environmentalist”等视角，这提高了可分性，但也可能让模型学习到风格化 persona，而不是深层价值推理。增益来源不完全清楚：是价值覆盖、语义多样性、标签更容易、还是 judge 更容易识别，都有贡献。

Relation To Prior Work

这篇工作位于 RLHF data curation、preference learning、pluralistic alignment 和 survey design 的交叉处。和 personalization / group preference optimization / distributional preference learning / social choice alignment 相比，它不直接提出新的聚合规则或个性化模型，而是指出这些方法共同依赖一个更基础的前提：偏好维度必须在候选集中出现。

和 PRISM 最接近。PRISM 的贡献是 disaggregated、participatory、representative-ish preference data，强调不同 annotator 的偏好差异；本文的批评是，即使 PRISM 这类最强数据集，也因为候选响应来自温度/模型采样而存在 response homogeneity。也就是说，PRISM 改善了 annotator side diversity，但没有充分解决 candidate side diversity。

和 diverse decoding、DPP、diverse preference optimization 等路线相比，NC sampling 并非全新思想；“让样本互相远离”是老问题。但本文的实质创新是把 diversity 目标从 lexical / semantic diversity 明确转到 value-discriminative diversity，并把它嵌入 preference data collection。它的新增信息是：在 RLHF 场景里，candidate diversity 不是 aesthetic diversity，而是 preference identifiability 的必要条件。

与 cultural alignment evaluation 文献相比，本文也更谨慎一些：不是让 LLM 填 WVS 问卷来判断模型价值观，而是比较人对 LLM responses 的偏好与模型开放生成。这比问卷代理更贴近实际使用场景。不过它仍然借助 IW 维度作为分析坐标，因此不是完整文化价值建模。

Dataset / Evaluation

评估总体上能支持论文的中心 claim，但支持边界要说清楚。

任务覆盖是常见 chatbot 日常用途，包括写作、建议、解释、推荐、规划、闲聊等，不是只在政治/宗教极端问题上找差异。这使得 monoculture 结论更有分量：即使普通 prompt，也存在价值取向压缩。五国五语调查和 21 个模型评估提供了足够广的证据，但国家和语言覆盖仍远谈不上全球 pluralism。

核心 evaluation 有两部分。第一部分证明人类偏好分布宽、模型默认输出窄；这部分依赖人工 curated response set 与 GPT-4o judge，但有直接人类选择数据支撑。第二部分证明 NC sampling 提升下游 learnability；这部分设计干净，因为变量主要是 candidate generation 方式。但其标签与评价都依赖同一个 judge，因此更像 controlled diagnostic，而不是真实用户偏好泛化测试。

Community Alignment 数据集本身的价值主要在结构，而非单纯规模：多语言、annotator-level metadata、多人标同一 prompt、同一 annotator 多 conversation、部分自然语言解释，这些都正好服务于 pluralistic alignment 的后续研究。相比 HH / PRISM，它更适合研究 preference distribution、social choice aggregation 和 personalization。但数据来自 labeling platform，不是真实产品交互；多轮对话也是 controlled annotation，不等价于 deployment-time user satisfaction。

benchmark 是否验证了 claim？验证了“候选集同质会限制偏好学习”和“NC sampling 可增加 value coverage”。没有充分验证“用 CA 训练出的模型能在真实全球用户中更好服务冲突偏好”。后者仍是 open problem。

Limitation

最深的限制是：NC sampling 需要知道或至少能诱导出有用的 diversity。论文用的是非常简单的 prompt——生成 diverse values——且在 IW 维度上有效，但这不保证它能覆盖真实人类偏好空间中更细、更隐性、更上下文依赖的分歧。很多偏好不是可由一句 diversity prompt 生成的四个 archetype 表达的。

第二，方法可能引入 caricature risk。为了让候选“不同”，模型可能生成刻板化的传统主义、环保主义、经济理性主义、个人表达主义回答。这会提高 judge separability，却未必提高对真实社区偏好的尊重或准确性。换言之，NC sampling 可能把 latent preference modeling 简化为 persona template matching。

第三，数据覆盖是核心能力来源。论文中的提升基本可以归因为 candidate support 扩大，而不是模型学到了更高级的价值推理。核心能力可能主要来自数据覆盖；所谓 preference generalization 是否真实存在，文中未充分说明。尤其在长上下文、多轮冲突、用户偏好随时间变化的场景中，训练出来的模型是否能保持一致偏好建模仍未验证。

第四，evaluation 对 GPT-4o judge 依赖较重。judge 在手工集上表现不错，但 IW 价值维度本身含混，且不同语言、文化语境下同一句回答的价值含义可能不同。训练和评价使用同一 judge 让实验归因更干净，但也制造了 hidden supervision / evaluation bias 的风险。模型可能优化到 judge 的价值分类器，而不是人类实际偏好。

第五，representativeness 有上限。作者很诚实地说明 CA 的 balanced subset 只在年龄、性别、族群等维度上做平衡，教育、政治倾向、地区等并未充分代表；印度等地区还受英语能力筛选影响。这意味着它是比现有 preference data 更 pluralistic，而不是全球代表性偏好数据。

最后，论文没有解决 pluralistic alignment 的下游规范问题：采到冲突偏好后，到底是个性化、分布式匹配、群体投票、最小伤害约束，还是多视角回答？本文只是让分歧更可观测，并没有给出如何部署冲突偏好的答案。

Takeaway

  • 1. Preference dataset 的核心质量不只是 annotator diversity，而是 candidate set 是否覆盖 disagreement axes。
  • 以后 RLHF 数据设计应该把 candidate generation 当作实验设计问题，而不是采样工程。
  • 2. 多模型采样不是 pluralism 的保证。
  • 只要 post-training 目标和安全规范趋同，21 个模型也可能只是同一种价值话语的变体。

一句话总结

这篇论文把 pluralistic alignment 的关键瓶颈从“如何学习偏好”前移到“如何生成能暴露偏好差异的候选集”，其真正贡献是用 negatively-correlated sampling 将 preference data collection 重新定义为 value-discriminative experimental design。