精读笔记

Problem Setting

PortraitGen 不是在解决一般 T2I 对齐问题，而是在处理一个更具体的 failure mode：photorealistic portrait 里，模型已经能生成“好看”的图，但仍保留稳定的 AI 生成痕迹，例如油亮皮肤、塑料质感、局部肢体异常、手指数量错误、过度平滑和不自然滤镜感。真正困难点是这些缺陷不是简单的 text-image alignment 错误，也不是全局 aesthetic score 能稳定捕捉的问题；它们通常是局部、细粒度、分布性很强的 artifacts。以前的 GRPO/RL post-training 卡在两个地方：奖励信号偏审美，优化样本又全部来自模型自身分布。于是训练只能把样本在已有生成 manifold 内重新排序，容易产生饱和色彩、商业大片感或滤镜化，而不是把模型拉近真实照片分布。这个任务的关键矛盾是：想优化到真实感，但优化过程中没有真实照片作为可学习轨迹；想惩罚 AI 痕迹，但常用 reward 对这些痕迹并不敏感。

Motivation

已有路线不够的原因很直接：HPS、CLIP、PickScore 这类偏好模型主要奖励“人觉得漂亮/符合文本”的图，不能可靠惩罚人像里的 synthetic signature；deepfake detector 方向虽然能区分 real/fake，但信号过粗，往往不能解释或稳定定位人像生成中最影响真实感的缺陷。作者的核心观察是，当前 GRPO 的组内样本高度同源，所有 candidate 都来自同一个生成器，因此 group-relative advantage 只是在模型自身能力边界内做局部比较。缺的不是单纯更大的 reward model，而是一个外部真实分布锚点，并且这个锚点必须能进入 RL 的 trajectory-level objective，而不能只是离线评价标签。换句话说，作者想补的是“真实图像在 post-training 中不可见、不可反传、不可成为组内赢家”的缺口。

Core Idea

核心思想是把真实人像 exemplar 注入 GRPO sampling group，并通过 inversion 把它伪装成一个具有完整 latent trajectory 和 step-wise transition probability 的 rollout。这样真实图像不再只是 reward model 的训练样本或评测参照，而是变成 GRPO 组内的一个 candidate。模型生成 G-1 张图，真实图像作为第 G 个样本进入同一组比较；如果 reward 能识别真实图像更少 AI 痕迹，它就会在 group-relative normalization 中获得更高 advantage，从而把 policy update 的方向从“更像当前模型的好样本”改成“更像真实照片锚点”。这和 prior 的本质区别在于信息流不同：标准 GRPO 的信息完全来自 on-policy/generated samples，而 PortraitGen 在组内显式插入 off-distribution real exemplar，并用 inversion 解决其可优化性。它引入的 inductive bias 是 real-image anchored policy improvement：真实照片不是额外监督数据，而是作为组内相对最优样本持续牵引模型分布。这个思路理论上成立的前提是 inversion 足够保真、reward 足够可靠、真实 exemplar 与 prompt 足够匹配，否则 advantage 会变成噪声或风格迁移压力。

Method

方法的必要机制可以压缩成三点。第一，exemplar-driven GRPO 解决的是标准 GRPO 缺少真实分布参照的问题；通过把真实图像放入 sampling group，它改变了优化的比较对象，使模型不再只和自己的变体比较。第二，BELM inversion 解决的是真实图像不可作为 rollout 参与 policy gradient 的问题；它为真实图像恢复 latent path 和 transition probability，让 exemplar 在形式上满足 GRPO objective 的输入要求。这里的关键不是 inversion 本身新，而是它把真实照片从静态监督样本转成了 RL 组内样本。第三，dual reward 解决的是普通 reward 对人像 synthetic artifacts 不敏感的问题；OmniReward 维持内容、清晰度、光色、构图等通用品质，AI-Portrait 用 pairwise win-rate 放大真实/生成之间的细微 AI 感、油腻感差异。两者结合的作用是避免优化只朝某个单一 detector 或审美偏置坍缩。文中的 gating 机制和具体训练 recipe 更像稳定训练的工程部件，不是概念核心。

Key Insight / Why It Works

最值得关注的 insight 是：GRPO 在生成模型 post-training 中的上限很大程度由组内样本的 support 决定。如果组内所有样本都来自同一个模型分布，那么 reward 再强也只能在当前 support 内选择；要突破 photorealism ceiling，需要把真实分布样本变成可比较、可给 advantage、可反传的对象。PortraitGen 有效的核心很可能不是“更好的 RL 算法”，而是把 real exemplar 作为 high-reward anchor 注入了优化过程，这更接近 distribution anchoring / supervised signal reuse 与 RL ranking 的结合。AI-Portrait reward 是第二关键贡献，因为它把普通审美 reward 忽略的生成器指纹变成可优化信号；没有这个 reward，真实 exemplar 的优势可能被 HPS/CLIP 误判或被风格偏好淹没。OmniReward 更像防止质量塌陷和维持通用图像质量的辅助项。需要直说的是，这篇的收益可能相当一部分来自 data coverage 和 reward/eval alignment：训练真实人像、reward 真实/生成 pair、benchmark 也是 portrait realism，三者目标高度一致。所谓“突破生成边界”并不等于模型学会了通用真实世界物理，它可能只是被强制拉向一批高质量社媒/摄影人像的局部分布。这里没有证据表明模型形成了更深的 anatomy reasoning；更可能是通过真实样本 anchoring + artifact detector 抑制了常见生成器纹理和局部结构错误。

Relation To Prior Work

它最接近 Flow-GRPO / DanceGRPO 这条 diffusion/flow matching RL post-training 谱系，也和 RealGen 的“用 synthetic artifact 信号提升真实感”目标相近。真正不同点在于，Flow-GRPO/DanceGRPO 仍是纯 generated-sample group，优化是模型内部排序；PortraitGen 把真实样本作为组内 rollout，这给 GRPO 引入了外部分布支点。和 RealGen 相比，它不是简单用 fake detector 给 generated image 打分，而是让真实照片直接成为相对优化中的参照物，因此信号更强。看似新的部分里，reward model SFT、pairwise real-vs-synthetic 训练、inversion 都不是单独的新思想；实质创新在于把这些已有技术重组为一个 RL-compatible 的 real-exemplar anchoring 机制。它属于“reward-based post-training + external real-data anchoring”的方法演化，而不是纯 RL 算法创新。

Dataset / Evaluation

数据和评测覆盖的是 portrait-centric photorealism，重点在人像社媒/街拍/杂志风格、多年龄性别和人物数量分布，任务范围比较聚焦，不是通用 T2I。PortraitBench 能验证论文最核心的一部分 claim：在人像真实感与 AI artifact suppression 上，方法比 FLUX 及若干 post-training baseline 更好。但评测有明显 limitation：核心指标 OmniReward 和 AI-Portrait 都是作者自训模型，并且训练目标与方法优化目标高度重合，存在 evaluation bias 风险。用户研究规模也偏小，只能作为感知补充。文中没有充分说明 reward 训练集、PortraitGen 训练集和 PortraitBench 之间的严格去重、来源隔离和分布差异；如果三者共享相似社媒摄影分布，结果可能高估泛化。外部真实部署场景，例如随意用户 prompt、非摄影风格人像、多人复杂交互、遮挡、极端姿态，并没有被充分验证。

Limitation

方法成立依赖几个强前提：真实 exemplar 必须高质量且和 prompt 对齐；inversion 必须足够保真并提供稳定 trajectory；reward 必须真的区分人像真实感而不是记住生成器指纹；训练和评测分布不能高度重叠。任何一个前提不成立，exemplar-driven advantage 都可能变成错误牵引。scalability 上限也很明确：每次训练要引入真实图像 inversion 和组内 pairwise reward，计算成本高，且 pairwise AI-Portrait 随 group size 增长并不便宜。泛化是否真实存在仍不清楚，核心能力可能主要来自高质量人像数据覆盖，而不是 RL 学到了一种可迁移的 photorealism principle。另一个问题是方法可能把难题从 generator 转移到 reward model：只要 AI-Portrait reward 有盲区，模型就可能学会避开当前 detector，而不是真正消除不合理结构。文中所谓真实图像引导“break generative boundary”的说法偏强；更准确地说，它是在 LoRA post-training 中用真实样本对局部分布做强牵引，边界是否被本质突破没有被充分证明。

Takeaway

• 第一，T2I RL post-training 的关键不只是 reward 设计，还包括 sampling group 的 support；没有真实或更强外部分布样本，GRPO 很容易只是模型内部审美重排。
• 第二，把真实样本通过 inversion 变成可优化 rollout 是一个可迁移 insight，适用于那些 reward 知道什么更好、但 policy 从未在优化轨迹中看到好样本的任务。
• 第三，portrait realism 这类问题需要 artifact-specific reward，通用偏好模型会系统性漏掉局部物理错误和生成器纹理。
• 第四，未来更值得做的是 disentangle 数据覆盖、reward 偏置和 RL 机制三者的贡献，并把 real-exemplar anchoring 推到更开放的场景，而不是继续堆更大的审美 reward。

一句话总结

PortraitGen 是把真实人像通过 inversion 注入 GRPO 组内比较、再用人像专用 reward 牵引生成分布的 real-exemplar-anchored post-training 方法，实质贡献在于改变了 RL 优化的样本 support，而不是提出了全新的生成建模范式。