精读笔记

Problem Setting

这篇论文处理的是在线个性化偏好对齐：初始没有任何偏好数据，只有一个预训练扩散模型；每轮生成少量样本，用户给二值反馈，然后模型立刻更新。真正困难不在于把 liked samples 拿来微调，而在于在线反馈极少、偏好多峰、负反馈也有信息、生成必须留在自然图像/产品/分子等可行流形内。以前 RLHF/DDPO/ReFL 路线需要显式 reward model，个性化场景下 reward data 不够；DPO/D3PO 路线需要大量 pairwise preference，并且 alignment strength、quality、diversity 很难解耦。关键矛盾是：如果模型太快 exploitation，会塌缩到当前少数正样本；如果太保守，又无法在有限查询预算内提高用户满意度。

Motivation

作者的出发点是：在线个性化场景缺的不是一个更强的 reward model，而是一种能把即时反馈直接注入生成分布的机制。已有方法的问题是把用户偏好当成一个先学出来的全局函数，但真实部署中每个用户/任务的数据都太少，reward learning 本身成为瓶颈。另一个核心观察是，预训练扩散模型已经提供了强先验：它知道什么样本是可行的、什么细节是自然的、低噪声 denoising 如何保持质量。因此在线偏好学习不应该重学生成能力，而应该在预训练分布上做局部重加权。论文想补的缺口是：无需 reward model、无需离线偏好集、还能在多峰偏好下保持 diversity 的 active alignment。

Core Idea

PAPA 的真正核心是把偏好反馈看成对预训练生成分布的在线 reweighting，而不是把它转成一个单独的奖励学习问题。正反馈样本提高 likelihood，负反馈样本降低 likelihood，预训练模型则作为质量与流形先验约束模型不要走太远。这个建模方式把“用户偏好”从外部 reward function 变成扩散训练目标中的局部密度调节信号。

它引入的 inductive bias 很明确：用户反馈只应改变生成分布的高层偏好方向，而不应破坏扩散模型已有的低层视觉/结构先验。EPAPA 把这个 bias 做得更彻底：高噪声阶段用 fine-tuned model 负责语义塑形，低噪声阶段回退到 pretrained model 负责细节修复。这和 prior 的本质区别在于，PAPA 不学习 reward，也不需要构造大量 preference pairs，而是直接使用正负样本对 denoising likelihood 施加方向性约束。

Method

方法上只需要抓住三个机制。第一，Preference Aligner 用正反馈样本的 DDPM denoising loss 提升这些样本附近的生成密度，解决少量 positive feedback 下的快速 exploitation；但单独使用它会理论上趋向 Dirac-like collapse，因此不能作为完整方案。第二，Preference Alignment Enhancer 对负反馈样本施加反向 likelihood，等价于让模型主动降低不喜欢区域的概率；它的作用是提高反馈利用率，但如果没有正样本锚定，容易退化成无目标 forgetting。第三，QPDE 把 fine-tuned denoiser 拉近 pretrained denoiser，实质是用预训练模型做 prior/regularizer，防止在线少样本更新把模型推离可行流形。

EPAPA 是更有价值的工程-理论结合点：它不在所有 timestep 上微调，而是只让 fine-tuned model 负责高噪声区间，并在采样低噪声阶段调用 pretrained model。这样做解决的是低噪声过拟合和计算浪费问题；核心变化是把 diffusion trajectory 上的能力分工显式化，而不是让一个少样本 fine-tuned model 负责完整反向过程。

Key Insight / Why It Works

最重要的 insight 是：在线偏好对齐不需要先学一个 reward landscape，只要预训练生成模型的 support 足够好，偏好学习可以退化为在该 support 上做密度重加权。PAPA 有效主要来自 better inductive bias 和 memory reuse，而不是 scaling。预训练扩散模型提供 data coverage、validity prior 和低层 denoising；在线反馈只负责选择性强化/削弱局部区域。这解释了为什么方法在少量反馈下比 D3PO 更稳定：它没有让偏好项和 KL/reference 项绑在同一个 DPO 温度里，而是显式分出 alignment、negative forgetting、quality preservation。

最可能的核心贡献是 EPAPA 的 timestep 分工，而不是 VI 推导本身。VI/Bayes 叙述提供了合理化，但实际有效机制更像：高噪声阶段控制全局语义，低噪声阶段用原模型修复细节。这个思想可迁移性很强，尤其适合所有“少量任务反馈只应改变高层属性、不应破坏基础生成能力”的场景。QPDE 是重要辅助，但不是 alignment 的来源；消融显示它主要保护 FID/IS 和多样性。负反馈项是真正提升在线效率的部分，但它也最危险，因为它默认 negative sample 附近都应被压低。

需要直接指出：很多成功可能来自预训练模型已经覆盖目标偏好区域，因此 PAPA 更像 preference-conditioned retrieval/reweighting over model support，而不是开放式发现新模式。对于 MNIST/Fashion-MNIST 这类类别偏好任务，所谓 active alignment 很大程度是把已有类别概率重新分配；不是复杂偏好推理。Stable Diffusion 上的细粒度任务更有说服力，但仍使用自动 reward/proxy，而非真实在线用户。

Relation To Prior Work

它最接近三条路线：RL fine-tuning diffusion models、DPO/D3PO 式 reward-free preference optimization、以及 continual/variational learning 中的 posterior update/forgetting。和 DDPO/ReFL 的本质差异是，PAPA 不训练或调用独立 reward model；和 D3PO 的本质差异是，PAPA 不依赖离线 pairwise preference，也不把质量约束和偏好强度混在一个 DPO objective 里。它把正负反馈分别映射到 likelihood increase/decrease，并额外用 pretrained denoiser 保持生成先验。

看似新的地方里，VI 推导、Bayesian posterior 解释和 memory consolidation 叙事更多是已有思想重组；实质创新在于把这些思想落到 diffusion denoising loss 的正负样本在线更新，并结合 timestep-level model switching。技术谱系上，它不是传统 RLHF，也不是纯 DPO，而更像“online density shaping under a pretrained generative prior”。真正新增的信息是：在小反馈预算下，显式分离 alignment 与 quality/diversity 控制，比 reward-free pairwise objective 更适合多峰偏好。

Dataset / Evaluation

评估覆盖了两个层面：小规模类别偏好任务用于验证机制，Stable Diffusion 上的 compressibility、aesthetic、ImageReward 用于验证细粒度目标。任务覆盖比只做 MNIST 类别选择更充分，尤其是 text-to-image 部分能说明方法不完全局限于 toy data。但大部分在线反馈是代理模型给出的：分类器、LAION aesthetic、ImageReward，而不是真实用户交互。这使得“personalized active” claim 仍偏模拟。

实验确实支持核心 claim 的一部分：PAPA/EPAPA 能用较少在线反馈提高偏好命中率，并比 D3PO 更好维持质量/多样性。消融也比较清楚地证明了三个 loss component 的必要性。不过 evaluation 没有充分验证真实部署中的关键难点：反馈噪声、偏好漂移、用户耐心、跨轮策略性探索、复杂多属性 trade-off。类别集合任务还存在明显简化：偏好边界由 classifier 决定，模型只需改变类别分布。Stable Diffusion 实验更接近真实，但仍难排除 reward proxy 与训练分布/benchmark 的 overlap 带来的 evaluation bias。

Limitation

最大前提是 pretrained diffusion model 已经覆盖偏好区域。若用户想要的模式不在原模型 support 内，PAPA 很可能只能在已有模式间重排概率，而不是创造新概念。核心能力可能主要来自数据覆盖和预训练先验；在线算法贡献的是快速选择和抑制，而非真正学习复杂 reward function。

第二个问题是负反馈建模过强。把 disliked samples 当作应降低 likelihood 的区域，在类别偏好中合理，但在人类偏好里负反馈可能只针对某个局部属性，而不是整张图像或其邻域。这样会误伤潜在有用模式，长期在线更新可能造成不可逆遗忘。QPDE 能缓解但不能从根本上解决 credit assignment。

第三，EPAPA 的 K 是一个关键但经验性的控制点。论文说明中间值较好，但跨架构、scheduler、采样器、高分辨率 T2I、LoRA 微调时是否稳定，文中未充分说明。第四，真实 personalization 往往是非平稳、多目标、带噪声、带上下文的，而论文主要处理固定偏好集合或固定 reward proxy。最后，和 D3PO 的比较可能部分反映 baseline 不适合在线小样本，而不是 PAPA 在所有 preference optimization 设置下都更优；增益来源不清。

Takeaway

• 第一，在线偏好对齐最值得迁移的思想是：不要急着学 reward model，先利用预训练生成模型的 support 做偏好密度重加权。
• 第二，alignment、quality、diversity 必须解耦控制；把它们塞进一个 DPO/KL 温度里，在多峰偏好下很容易失败。
• 第三，diffusion timestep 是一个天然的能力分解轴：高噪声改语义，低噪声保细节，这对少样本/个性化/任务适配非常有用。
• 第四，未来真正值得做的是 noisy human feedback、non-stationary preference、multi-attribute preference credit assignment，而不是继续在干净代理反馈上堆更复杂 loss。

一句话总结

PAPA 是一类“在预训练扩散先验上做在线偏好密度塑形”的方法，真正贡献在于绕开奖励模型并显式分离偏好更新与生成先验保留，尤其通过 EPAPA 展示了 timestep-level memory reuse 对少样本 alignment 的价值。