精读笔记

Problem Setting

论文标题：Displacement-Resistant Extensions of DPO with Nonconvex f-Divergences（Awesome RL with Human Feedback / 2026）。

这篇论文不是在重新定义 RLHF，也不是单纯提出一个 DPO variant；它真正处理的是 DPO-style direct preference optimization 的两个结构性问题：第一，替换 KL regularizer 后，什么时候仍能得到一个不显式训练 reward model、可直接优化的 preference loss；第二，为什么某些 DPO-like loss 会把 chosen 和 rejected response 的概率一起压低，即 likelihood / probability displacement。

关键矛盾是：DPO 依赖 KL-regularized RLHF 的 closed-form solution，因此它的 tractability 很脆弱；但 KL 的几何形状又会诱导不理想的概率移动。换句话说，原始 DPO 的优点和缺陷来自同一个源头：KL 让 reward 可以写成 log policy ratio，但也把最优 regularized policy 的概率比偏向某个小于 1 的区域。

以前方法主要卡在两个地方。Wang et al. 的 f-DPO 已经说明 KL 可以替换为更一般的 convex f-divergence，但把“可导出性”与 convexity 绑定起来；displacement 相关工作则多用额外 penalty、constraint 或 heuristic adaptive β 去修补 DPO，但没有给出从 f-divergence 形状到 displacement 的一般性解释。本文试图把这两个问题统一到 f 的边界行为和全局最小点位置上。

Motivation

作者的核心动机是：DPO 的 tractability 条件被之前工作写得太强，而 DPO 的 displacement 问题又被之前工作解释得太局部。已有路线缺的是一个能同时回答“哪些 f 可以用”和“哪些 f 不该用”的设计准则。

第一个观察是，f-DPO 推导真正需要的是最优 policy 在所有 relevant responses 上有正概率，这样 KKT / first-order condition 才能把 reward difference 写成 β[f'(πθ/πref) 的差]。这与 f 是否凸并不等价。凸性通常用于保证 f-divergence 非负和优化良性，但在 DPO 推导中并不是本质条件。

第二个观察是，displacement 不是纯粹的 optimizer artifact，也不只是 finite-capacity 模型的偶然行为。论文通过一个只在 in-sample responses 上施加 f-regularization 的等价导出问题说明：如果 f 的全局最小点在 c<1，那么最优解本身就可能偏好 πθ(y|x)≈cπref(y|x)，即把训练集中出现的 response 概率系统性压低。KL 的 f(t)=t log t 最小点在 e^{-1}，这给 DPO displacement 一个非常直接的解释。

因此，关键缺口不是“再调一个 β”，而是找到一类既能诱导 DPO loss、又不会在 regularizer 几何上鼓励概率下降的 f。

Core Idea

论文的核心思想是把 f-DPO 的设计空间从“convex divergence family”改写成“满足两个行为约束的 generating functions”：DPO-inducing 保证 direct loss 的可导出性；displacement-resistant 保证 f 的最小点不落在 reference ratio 以下。这个重写很重要，因为它把一个看似 optimization / divergence 的问题变成了对 f 的边界斜率和最小点位置的函数设计问题。

具体地，在 mild 条件下，DPO-inducing 等价于 lim_{t→0+} f'(t)=-∞。直觉上，这相当于在 policy ratio 接近 0 时提供无限 barrier，阻止 optimal solution 落到 simplex boundary；只要最优解是 interior，就可以用一阶最优性把 reward difference 写成 f' ratio 的差，从而得到 f-DPO loss。这个条件比 convexity 更接近 DPO 推导的本质。

第二个核心思想是用 argmin f 控制 displacement bias。若 f 的全局最小点 c<1，那么 regularizer 本身最喜欢 πθ/πref=c，而不是 1；当 in-sample regularization 与 out-of-sample high-reward responses 竞争时，训练集中 winner / loser 都可能被压到 reference 以下。于是 displacement-resistant 被定义为 argmin f≥1。SQUAREDPO 选 f(t)=1/2(log t)^2，最小点正好在 t=1，且 f'(t)=log(t)/t 在 0 附近趋于 -∞；因此它同时满足可导出性和抗 displacement 的必要条件。

本质区别在于，它不是给 DPO 额外加一个防止 chosen probability 下降的 penalty，而是改变 regularizer 的几何，使“回到 reference ratio 1”成为 f 的自然最小点。这是一个更干净的 inductive bias。

Method

1. DPO-inducing characterization：它解决的是“哪些 f 替换 KL 后仍能导出 DPO-like loss”的问题。必要性来自最优解必须在 simplex interior，否则 reward difference 无法通过 f'(πθ/πref) 表达。论文给出的简化判据 lim_{t→0+}f'(t)=-∞ 把 tractability 从 convexity 解耦出来。核心变化是：f-DPO 的可行域显著扩大到非凸 f。

2. Interior-inducing equivalence：这是理论推导的关键桥。DPO-inducing 与 interior-inducing 等价，说明 closed-form-to-BT substitution 的本质不是 divergence convexity，而是边界处不能出现 zero probability。这个点是本文最实质的理论整理。

3. Displacement-resistant condition：它解决的是“可用的 f 里哪些会结构性导致 likelihood decrease”的问题。Lemma 2 表明，当 f 的最小点 c∈(0,1] 且 out-of-sample 有不低于 in-sample 的 reward 时，in-sample response 的最优概率会被压到 cπref 以下。于是 argmin f≥1 成为避免该类 displacement 的必要条件。注意这不是充分保证，只是排除一类明显有害的 f。

4. SQUAREDPO instantiation：选择 f(t)=1/2(log t)^2，得到 f'(t)=log(t)/t。代入 f-DPO 后，loss 形如 DPO 的 log-ratio margin，但每个 response 的 β 被 β/(πθ/πref) 自适应缩放。若 winner probability 低于 reference，effective β 变大，正则更强；若概率高于 reference，effective β 变小，允许更自由地扩大 preference margin。这个机制直接对应 displacement mitigation。

Key Insight / Why It Works

最重要的 insight 是：DPO 的 likelihood displacement 可以从 f-divergence generator 的最小点位置读出来。KL-DPO 不是偶然把 chosen 压低；f(t)=t log t 的最小点在 e^{-1}，这意味着 regularizer 单独看就偏好 πθ/πref<1。这个解释比“DPO 只优化相对 preference margin 所以可能牺牲 absolute likelihood”更结构化，也更可迁移。

SQUAREDPO 有效的核心不在“非凸”本身，而在两个形状属性的组合：边界处 f'→-∞ 提供 interior barrier；t=1 处全局最小使 reference ratio 成为自然吸引点；f'(t)=log(t)/t 又把低概率 response 的梯度 / effective β 放大。非凸只是允许同时满足这些性质的一种方式，不应被过度神化。

从机制上看，SQUAREDPO 本质上是理论推导出来的 adaptive-β DPO。它不是 scaling、retrieval、memory reuse、test-time compute，也不是 data coverage 带来的泛化；它是更好的 regularization inductive bias。尤其是在 winner probability 已经下降时，DPO 的固定 β 不会自动识别这个状态，而 SQUAREDPO 会通过 1/t 因子增加回拉。这解释了为什么它能打断 per-winner monotonic decrease。

不过要直接判断：实验增益中有一部分可能只是 adaptive β 的效果，而非“nonconvex f-divergence”这一框架的独有贡献。论文没有充分做 ablation 来区分：是 argmin f=1 起作用、是 f' near zero 的 barrier 起作用、还是 β/t 的数值动态起作用。SQUAREDPO 的 empirical robustness 很可能主要来自 response-level adaptive regularization，而不是更宏大的非凸 divergence 理论。

另一个值得注意的点是，Lemma 1 暴露了 f-DPO 的一个尴尬事实：同一个 f-DPO loss 也可以由只 regularize in-sample responses 的问题导出。这说明 DPO-style direct objective 对 out-of-sample distribution 的控制其实是欠定的；reference regularization 在推导里看似全空间，落到 pairwise loss 后对未观察 response 的约束很弱。这是 DPO 系列的结构性上限，不是 SQUAREDPO 完全能解决的。

Relation To Prior Work

这篇工作最接近三条线：原始 DPO、convex f-DPO、以及 displacement mitigation / adaptive β 方法。

相对 DPO，它不是换一个 preference margin 的写法，而是指出 KL generator 的最小点导致了系统性 probability decrease。DPO 使用 f(t)=t log t，既 DPO-inducing，又不是 displacement-resistant。本文的关键新增信息是：DPO 的 failure mode 可以通过 f 的 argmin 解释，并可通过改变 f 的几何来缓解。

相对 Wang et al. 的 f-DPO，本文的实质创新是去掉 convexity 作为必要条件，给出更精确的 DPO-inducing 判据。这里的贡献不是“我们也用了 f-divergence”，而是把 f-DPO 的可行性从传统 Csiszár divergence 的凸性框架中抽离出来。这个理论上更干净，也打开了非凸函数族。

相对 χPO，本文更像是把 Huang et al. 的一个具体 successful point 放回更大的函数几何图谱里解释。χPO 的 f 最小点约在 W(1)>e^{-1}，因此按本文理论应比 DPO 更不 prone to displacement，但仍不如最小点在 1 的 SQUAREDPO。这个解释是有价值的，因为它给不同 preference losses 的 displacement 行为提供了统一排序。

相对 C2-DPO、DPO-positive、β-DPO、ε-DPO、SimPO 等，SQUAREDPO 的区别在于 adaptive regularization 不是额外 heuristic penalty，也没有新增 penalty coefficient；它从 generalized RLHF objective 的 f-choice 中自然导出。话虽如此，最终 loss 的形态确实与 adaptive β 系列非常接近，所以“新颖性”主要在理论归因和设计原则，而不是优化形式本身完全前所未有。

Dataset / Evaluation

实验验证集中在 TL;DR 上用 Meta-Llama-3-8B-Instruct 做 preference optimization，另有 appendix 用 Qwen2-0.5B + UltraFeedback 做 displacement / monotonicity 补充。标准 benchmark 包括 AlpacaEval 2 和 MT-Bench，但这些更多证明 SQUAREDPO 没有明显损坏通用 instruction-following，而不是强验证 displacement theory。

真正支撑核心 claim 的证据是训练集 chosen log-ratio 的分布和随 epoch 的轨迹。SQUAREDPO 确实减少极端负 log-ratio，并显著降低 DPO 中 winner probability 持续单调下降的比例。这和论文机制高度一致。

但 evaluation 覆盖仍偏窄。一个数据集上的 summarization preference optimization 不足以说明该机制对 general alignment 都成立；AlpacaEval / MT-Bench 与训练目标之间的关系也较间接。benchmark 分数接近 DPO 只能说明没有明显 trade-off，不能说明 SQUAREDPO 在真实 deployment 中更 aligned。

此外，所有主实验是 LoRA finetuning。LoRA 本身会限制 policy movement，也可能改变 displacement dynamics；full finetuning 或更大 scale 下 adaptive β 的作用强度未充分说明。文中未充分说明不同 β、不同 learning rate、不同 preference noise 水平下结论是否稳定。

Limitation

最大理论限制是：displacement-resistant 只是必要条件，不是充分条件。argmin f≥1 能排除 KL 这类明显鼓励 probability decrease 的 generator，但不能保证实际训练不会 displacement。真实神经网络优化中，capacity coupling、token-level normalization、sequence length bias、optimizer momentum 都可能重新引入 displacement。

第二，理论分析基于 optimal solutions，尤其 Lemma 2 讨论的是问题 (7) 的最优解，而实验现象是 finite-step training dynamics。两者之间的桥接主要靠直觉性的 adaptive β 解释，没有严格动态分析。换言之，论文解释了“为什么某些最优点坏”，但没有完全证明“训练会向哪些点走”。

第三，SQUAREDPO 只实例化了一个非凸 f。论文宣称打开 DPO-inducing ∩ displacement-resistant 的设计空间，但没有系统探索这个空间。当前无法判断 squared-log 是接近最优、只是一个方便例子，还是偶然在 TL;DR 上工作。

第四，增益归因不够干净。SQUAREDPO 的核心效果可能主要来自 β/(πθ/πref) 这个 adaptive regularization，而不是 f-divergence theory 本身。缺少与手工 adaptive β、clipped adaptive β、argmin=1 但不同 curvature 的 f 的对照。

第五，direct preference loss 仍然继承 DPO 的欠定性：pairwise BT loss 只约束 chosen-rejected 的相对 score，不直接保证 out-of-sample response distribution 合理。Lemma 1 甚至说明同一个 loss 可由只 regularize Sx 的问题导出，这意味着所谓 full-distribution regularization 在 direct objective 中有信息丢失。SQUAREDPO 缓解 in-sample displacement，但没有根治 direct preference optimization 对未观测区域控制弱的问题。

Takeaway

• 1. f-DPO 的核心设计准则不应是 convexity，而应是边界 barrier：lim_{t→0+}f'(t)=-∞。
• 这为非凸 preference losses 提供了一个可验证的理论入口。
• 2. likelihood displacement 可以被视为 regularizer generator 的几何偏置，尤其是 argmin f<1 的后果。
• 这是一个很可迁移的视角：以后设计 DPO variants 时应先看 f 的最小点，而不是只看 empirical win rate。

一句话总结

这篇论文把 DPO 的可导出性和 likelihood displacement 统一归因到 f-divergence generator 的边界斜率与最小点位置，并用 SQUAREDPO 展示了一种由理论导出的 adaptive-regularization 型 DPO 演化。