精读笔记

Problem Setting

论文实际解决的是：在 principle-guided alignment / Constitutional AI 风格设定中，如何让标准 pairwise loss 训练出来的 reward model 满足最基本的社会选择公理，尤其是 Pareto Optimality。这里的“原则”被当作 voters，每个原则在 embedding space 中给出线性偏好方向；reward model 聚合这些原则并用于后续优化。

真正困难点不是偏好学习本身，而是 loss-based aggregation 的目标函数和 axiomatic aggregation 的目标不一致。Pairwise loss 看起来只是在惩罚错误排序，但它实际优化的是由 comparison differences 构成的加权几何场：方向出现频率、向量长度、冲突结构都会改变最优 θ。于是即便某个方向上所有原则一致，loss 也可能因为其他方向的压力而把它排错。

以前路线的卡点在于二选一：要么采用标准 RLHF/BT loss，和现有 pipeline 兼容但无公理保证；要么用组合社会选择规则恢复 guarantee，但不自然嵌入现代 reward modeling / differentiable optimization。本文关心的是第三条路：不放弃 loss-based training，但找出何时它能恢复公理、何时表达力增加仍无用。

Motivation

作者的核心观察是，Ge et al. 2024 的 PO violation 不应被简单解释为“线性 reward 太弱”。如果 violation 只是模型 class 不够强，那么用 polynomial reward 或更深网络应该能修复。但本文证明 bounded-degree polynomial 仍会违反 PO 和 PMC，这直接否定了“加表达力即可解决”的直觉。

关键缺口在于：现有 social-choice-for-alignment 工作通常在固定候选集上讨论公理，而 reward model 的价值恰恰在于 out-of-sample generalization。固定候选集上的 PO 不能告诉我们 reward 在整个 embedding space 的 Pareto cone 上是否一致。另一方面，现代 ML 里真正可控的 knob 通常不是 voting rule 本身，而是数据采样、重加权、比较生成方式。

因此本文的动机可以概括为：把公理失败从“规则选择问题”改写成“loss 几何 + 数据覆盖问题”。这比单纯提出新 voting rule 更贴近实际 RLHF/CAI 系统，因为实际系统很难替换为离散组合聚合器，但可以检查、重采样、重加权 preference data。

Core Idea

论文的核心思想是：loss-based reward modeling 的公理性质主要由 comparison-difference distribution 决定，而不主要由 reward function 的 nominal expressivity 决定。每个 pairwise comparison 只通过差向量 a-b 影响线性 reward；对于 polynomial reward，有限点上的插值结构也可被构造得类似。若这些差向量分布不均衡，loss 会偏向主导方向，牺牲局部的一致原则偏好。

正向方案不是设计一个新 reward architecture，而是要求数据在 embedding space 的所有单位方向上均匀覆盖。这样每个 voter 的偏好半球都被完整采样，loss 对方向的几何偏差被抵消。若 θ 在某个所有 voters 都赞成的方向 x 上给出非正 reward difference，那么可以构造同范数的 θ′，使其对每个 voter direction 的投影都更好；由半球积分损失的单调性，所有 voter loss 同时下降，所以原 θ 不可能最优。

这与 prior 的本质区别是：Ge et al. 的修复方向偏组合社会选择，本文的修复方向偏 data-centric ML。它引入的 inductive bias 是“balanced directional coverage”，而不是更强模型或更复杂 aggregation rule。可迁移的点是：很多 alignment objective 的 failure 可能不是 objective 形式单独导致，而是 objective 与数据几何相互作用的结果。

Method

1. 机制性解释 PO violation：作者先用一个极简范数约束例子说明，loss 最优解会把有限 norm budget 分配给更长、更频繁或更影响总 loss 的方向。它解决的是原 counterexample 过于构造化、直觉不透明的问题。核心变化是把 PO failure 解释成几何资源分配失败，而不是神秘的社会选择悖论。

2. Polynomial negative result：作者考虑 degree-bounded polynomial reward，证明任意满足严格凸、下界、可微且 ℓ′(0)>0 的 loss-based rule 仍可失败 PO/PMC。构造思路是先在退化实例中让最优 arbitrary rewards 唯一有序，再把候选点放在若干条线上，使 degree-d polynomial 若匹配这些点只能等于特定 p*(x,y)=-x-y；然后微扰 c0 接近 c1，利用 Berge maximum theorem 保证最优 polynomial 仍接近 p*，从而反向排序一个所有 voters 都同意的 pair。它解决的是“增加表达力是否足够”的问题，结论是否定的。

3. Direction-level PO：作者把 PO 从固定候选 pair 推广到整个 Rd 上的方向条件：若所有 voters 对方向 x 都正向，则 learned θ 也必须对 x 正向。这一步必要，因为线性 social choice 的真实对象不是候选点本身，而是 pairwise difference direction。核心变化是把公理从 finite ranking property 改成 representation-space generalization property。

4. Uniform-data recovery：在所有单位方向均匀出现、比较长度归一的理想化数据分布下，总 loss 变成球面积分。作者证明任何 minimizer 满足 generalized PO。这里机制不是 regularization，也不是 architecture，而是数据分布使 loss 对每个 voter 的半球偏好完整可见，从而消除有限数据方向偏置。

Key Insight / Why It Works

最重要的 insight 是：PO violation 的根因是 data coverage，而不是 reward model 表达力。Pairwise loss 在有限数据上天然把“看到什么方向”当成“什么重要”。如果训练集中大部分比较沿某些方向，或者这些方向差向量更长，优化器会优先满足这些方向；那些所有原则一致但数据几何上弱势的方向可以被牺牲。这一点对 RLHF 很关键，因为 preference dataset 的构造通常高度非均匀：prompt distribution、response generator、采样温度、judge rubric 都会决定 comparison difference 的几何覆盖。

Polynomial negative result 的价值在于它排除了一个常见但懒惰的解释：不是因为 linear head 太弱。作者的构造说明，只要 reward class 有有限复杂度，就可以通过候选点几何把最优函数“钉住”在一个违反 PO 的形状附近。换成固定宽深 MLP 很可能也有类似问题，虽然文中只是 conjecture。这里真正的贡献是把 failure 从 linear artifact 提升为 loss-based finite-data aggregation 的结构性问题。

正结果为什么成立也很干净：均匀球面覆盖让每个 voter 的 loss 只取决于 θ 与 voter direction 的相对几何关系。在同范数球面上，如果 θ′ 对某个 voter vi 的投影更大，则该 voter 的半球积分 loss 更小。若 θ 违反 PO，存在共同赞成方向 x 但 θ·x≤0；可以沿 x 调整 θ，同时保持 norm，使其对所有 vi 的投影都提升。于是所有 Li 同时下降，θ 不可能最优。这是一个强几何 dominance argument。

我认为论文最核心贡献是“data-centric axiomatic recovery”这个 framing，而不是 polynomial 构造本身。Polynomial theorem 更像是清障：告诉读者不要指望 scaling reward model class 自动解决。真正可迁移的是：alignment objective design 不能只看 loss 和 architecture，还要看 preference comparisons 在 latent space 中覆盖了哪些 directions。

需要注意，正结果本质上是 data coverage guarantee，不是 learning algorithm guarantee。它没有说明实际系统如何高效达到均匀覆盖，也没有有限样本 bound。因此如果有人把这篇解释成“标准 RLHF 只要多采样就会满足 PO”，那是过度外推。更准确的判断是：它证明了一种 sufficient condition，并指出工程上应该检查 embedding-difference distribution。

Relation To Prior Work

最近的谱系是 Ge et al. 2024 的 linear social choice for RLHF。Ge et al. 展示了线性 reward 可违反 PO/PMC，并通过组合社会选择规则恢复公理；本文则坚持 loss-based rule，不试图替换成离散 aggregation。这个差异很实质：前者更像 social choice import，后者更像把 social choice constraints 翻译成 ML pipeline 可操作的 data conditions。

它也连接 Noothigattu et al. 关于 pairwise comparison learning axioms、BT loss 与 Borda ranking 的关系、NLHF 与 maximal lotteries 的关系。但本文没有沿着“哪个 voting rule 更好”的经典路线走，而是利用 embedding geometry 讨论 out-of-sample axiom。这是比传统 unstructured alternatives 更贴近 representation learning 的地方。

看似新的部分中，“principles as voters”并不是全新，Constitutional AI / principle-guided RLAIF 已经隐含这种结构；“linear directions as concepts”也来自 LRH / mechanistic interpretability。真正新增的信息是：在这个线性原则模型里，公理是否成立由 comparison direction distribution 控制；表达力扩展到 polynomial 仍不能避免有限数据 counterexample；均匀覆盖可让标准 loss 恢复 PO。

它属于 alignment objective design + social choice theory + representation geometry 的交叉路线。相较于直接优化 pluralistic / proportional / Nash objectives，本文更偏理论诊断和数据设计原则。

Dataset / Evaluation

论文没有常规意义上的实验数据集或 benchmark evaluation，主要是理论构造与证明。因此不能用“实验是否充分”来评价它，而应看理论设定是否支撑 claim。

负结果的覆盖范围较强：二维、少数 voters、bounded-degree polynomial、广泛 loss 条件下仍可失败。这足以支持“增加 polynomial 表达力不能保证 PO/PMC”。但它仍是 worst-case construction，不说明真实 CAI 数据中 violation 的频率或严重度。

正结果的 evaluation 是一个 idealized uniform-data model：所有单位方向均匀出现、长度归一、每个 voter 半球完整覆盖。它很好地验证了作者关于 data coverage 的机制性 claim，但离真实 preference dataset 有明显距离。真实数据的 comparison directions 由 prompt distribution 和 model response manifold 决定，未必能覆盖整个 Sd−1；而且 responses 可能位于低维流形，不是全空间均匀球面。

因此本文的 evidence 支持“如果能做到均匀方向覆盖，则 PO 可恢复”，但没有支持“实际 RLHF/CAI 可以容易做到”。文中也承认下一步需要 sampling bounds、reweighting 和 query strategy。增益来源在正结果中非常明确：几乎完全来自 data coverage，而不是 scaling 或 architecture。

Limitation

1. 线性原则假设很强。把 helpfulness / harmlessness / honesty 等原则表示为固定线性方向是有用的一阶近似，但实际原则往往上下文依赖、非线性、多模态，且可能随模型层和 prompt 改变。若 voter utilities 本身非线性或局部变化，本文的 direction-level PO 定义会变得不充分。

2. Uniform coverage 是强理想化。正结果要求单位方向均匀且长度平衡。实际 preference data 的差向量分布通常高度集中在 model response manifold 上，且不同 prompt 下语义方向不可简单比较。核心能力可能主要来自数据覆盖；如果覆盖不可达，理论 guarantee 基本失效。

3. 有限样本缺失是最大技术空白。论文证明的是积分极限下 exact PO，没有给出 finite-n 下的 approximate PO bound、sample complexity 或 violation margin。实际部署只能采有限 comparisons，因此“in the limit exactly recover”离可用 recipe 还有距离。

4. Reward model 与 representation frozen。真实 RLHF 往往 reward model encoder 可训练，policy optimization 后 response distribution 也会 shift。本文没有处理 representation drift，也没有处理 reward hacking 后的新区域是否仍满足 PO。

5. Polynomial negative result 是 worst-case。它有理论清障价值，但不说明深网 reward 在自然数据上如何表现。对 fixed-depth MLP 的失败只是猜想，文中未充分说明。

6. PMC 的失败暴露了更深矛盾。Loss-based smooth aggregation 天然倾向连续插值，而 PMC 是多数阈值式、不连续要求。论文指出 PMC 未必 desirable，但这也意味着并非所有社会选择公理都能通过数据覆盖修复；哪些 axioms 应保留仍未解决。

Takeaway

• 1. 对 alignment objective 来说，不能只问 loss 是否合理，还要问 preference comparisons 在 representation space 中覆盖了哪些差分方向。
• 数据几何本身是 objective 的一部分。
• 2. 增加 reward model 表达力不是公理保证。
• Polynomial negative result 提醒我们，很多 axiomatic failures 是 loss + finite data 的结构性问题，不会被简单 scaling 掩盖。

一句话总结

《Enforcing Axioms for AI Alignment under Loss-Based Rules》（Awesome RL with Human Feedback / 2026）把 RLHF/CAI 中的公理失败从“reward 模型不够强”重新定位为“loss-based aggregation 对 comparison-direction coverage 敏感”的问题，并证明 balanced data coverage 而非单纯 scaling 表达力才是恢复 Pareto guarantee 的关键。