精读笔记

Problem Setting

这篇论文实际处理的是 flow-matching 生成模型在 RL post-training 中的 reward over-optimization，但它没有把问题表述为泛泛的“reward hacking”，而是定位到 velocity field 的结构性漂移：RL 更新同时带来有用的 reward-aligned 方向变化和有害的 radial norm inflation。真正困难点是这两者在常规 KL/MSE 约束下不可分：KL 只能限制总偏移，既不知道 artifact 来自哪一维，也可能压掉真正负责 reward gain 的方向性更新。关键矛盾是：模型需要离开 reference 才能提高 reward，但离开的某些分量会把采样轨迹推向视觉上不自然的区域。

Motivation

已有路线不够的原因在于它们把 post-training drift 当成单一量处理。早停只是少训练一点，KL 只是少偏离一点，二者都没有回答“该压制哪种偏离”。作者的核心观察是 RL 后 velocity norm 在多个方法上稳定膨胀，且视觉症状与 CFG guidance 过强时的 overshoot 很接近。关键缺口在于：CFG 的 norm inflation 是 inference-time 构造出来的，可以采样时 rescale；RL 的 inflation 是训练进权重后的 co-adapted dynamics，直接 inference renorm 不仅不能修好 artifact，还可能扰乱已学习的轨迹。因此缺的是 training-time、component-selective 的约束，而不是又一个整体距离惩罚。

Core Idea

论文真正的核心思想是把 RL 后的 velocity drift 分解成 radial component 和 directional component，并假设二者承担不同功能：directional realignment 更可能携带 reward，radial inflation 更可能携带 artifact 且 reward 信号不稳定。NormGuard 因此只限制超过 reference norm 的径向增长，而不强行把 velocity 拉回 reference 方向。

这个建模改变很重要：它把 regularization 的对象从“模型是否偏离 reference”改成“速度场是否超过参考动力学预算”。本质区别于 KL 的地方是选择性：KL 惩罚 v_theta - v_ref 的全部偏移，NormGuard 只惩罚 ||v_theta|| 大于 ||v_ref|| 的部分。它引入的 inductive bias 是 pretrained flow 的局部速度尺度大致对应稳定采样动力学，而 reward 微调应该主要通过方向调整表达偏好。这比 generic KL 更 scalable 的地方在于它不需要理解 reward model 的全部 failure mode，只需要监控一个跨方法稳定出现的几何症状。

Method

方法可以压缩成三个机制。

第一，作者定义 velocity-local post-training loss：如果一个 RL/post-training 目标的梯度可以写成局部 velocity residual 的加权形式，就能在同一 output space 上加约束。这一步解决的是兼容性问题：NormGuard 不是外部 parameter regularization，而是直接干预训练信号所在的 velocity 空间。

第二，用 frozen reference model 提供逐样本、逐 timestep 的 norm budget。它解决的是固定阈值不可比的问题，因为 velocity norm 随 timestep、prompt、latent state 变化很大；reference norm 给出的是局部动态尺度，而不是全局常数。

第三，使用 one-sided hinge penalty：只有 ||v_theta||^2 > ||v_ref||^2 时惩罚归一化超额。这个设计的核心变化是允许模型在 norm 未超 budget 时自由更新，也不惩罚 norm 下降；它有意避免 KL 那种对方向性 reward update 的无差别约束。

Key Insight / Why It Works

最有价值的 insight 是：RL 后生成质量退化可能不是因为“离 reference 太远”，而是因为离开的方向中存在一个相当低维、可诊断的 radial norm inflation 分量。NormGuard 有效的最可能原因是它切断了优化过程中一种 cheap reward/proxy exploitation channel：通过放大 velocity magnitude 让图像更锐、更高对比、更像 reward model 偏好的强信号图像，但这种变化对真实感和自然纹理有害。

adjoint sensitivity 的角色不是严格证明 reward-neutrality，而是提供一个训练层面的安全性论据：uniform norm scaling 在 batch level 没有一致一阶 reward 方向，因此压制它不太会系统性损失 reward。这里我认为核心贡献不是 hinge penalty 本身，而是“radial drift vs directional alignment”的诊断框架。hinge 是非常简单的工程实现，但它抓住了一个正确的 inductive bias。

哪些可能只是辅助：velocity-local 定义主要是为了说明适用范围和组合性，不是方法性能的主要来源；MLLM/RealScore 增益也可能部分来自更保守、更接近 pretrained aesthetic prior，而不一定意味着普遍人类偏好提升。哪些不是 scaling：这篇不是靠更大模型、更强 reward、更长训练赢，而是改变了 regularization 的几何选择性。更准确地说，它是在 output-space dynamics 上做 better inductive bias。

Relation To Prior Work

最接近的路线有三类：CFG renormalization、KL/reference regularization、reward-overoptimization mitigation。与 CFG-renorm 的关系最微妙：二者都识别 velocity norm inflation 与 artifact 的联系，但 CFG 的 inflation 是采样时人为线性组合产生的外生放大，RL 的 inflation 是训练后内生写入权重的动力学变化；所以同样的 rescale 从“可逆 inference correction”变成了“不充分甚至破坏 co-adaptation 的干预”。

相对 KL regularization，NormGuard 的新增信息是把 aggregate drift 拆成 radial 和 directional 两部分。KL 是 isotropic 的，默认所有偏移都可疑；NormGuard 是 anisotropic/one-sided 的，默认方向偏移可保留、超额幅值可疑。这个区别是实质创新。

相对 GRPO-Guard、RSA-FT、RealGen、GARDO 等 anti-hacking 方法，NormGuard 不直接改 reward、采样策略或全局优化稳定性，而是在 flow velocity geometry 中找一个 artifact-correlated coordinate。看似新颖的部分其实也重组了已有思想：reference model as trust region、CFG norm rescaling、output-space regularization。但实质新增在于把这些思想放进 RL-finetuned flow 的训练期，并证明 inference-time CFG 方案在这里不成立。

Dataset / Evaluation

评估覆盖两个 base flow model、三种 velocity-local post-training 方法和两个 reward proxy，足以支持“该现象不是某个单一方法/模型的偶然结果”。HPDv3 测试 prompts、PickScore/HPSv2 reward、Qwen/GPT MLLM judge 和 Forensic-Chat realism detector 组合起来，基本覆盖了 reward 保留与视觉质量改善两个维度。

但 evaluation 仍有明显边界。首先，质量主要由 MLLM pairwise judge 和 forensic detector 判断，不等价于真实人类偏好，也可能偏向更自然、更保守、更少锐化的 pretrained-style 图像。其次，实验没有覆盖 trajectory-level RL，例如 Flow-GRPO；因此“RL post-training 普遍适用”的说法应限制在 velocity-local objective。第三，few-step ablation 很有说服力，因为 norm inflation 会放大 ODE 离散误差，这直接支持动力学解释；但 artifact 因果链仍未完全闭合，文中未充分说明 norm inflation 的生成机制。

Limitation

第一，reference norm budget 是核心前提，也是潜在上限。如果 pretrained reference 的 velocity scale 并不适合某个 domain 或目标风格，NormGuard 可能把必要的尺度变化误判为有害膨胀。

第二，reward-neutrality 只在 batch-level first-order sense 成立。文中也承认 per-sample radial perturbation 会影响 reward，只是平均后接近零；这意味着在 prompt distribution shift 或更窄 domain 上，radial component 可能不再 reward-neutral。

第三，方法适用范围被 velocity-local 假设限制。NFT/AWM/DPO 可以加，因为训练信号在局部 velocity residual 上；Flow-GRPO 这类 trajectory likelihood-ratio 方法不直接满足。换言之，这不是一个通用 RLHF-for-diffusion regularizer，而是一个适用于特定 flow-matching 训练几何的约束。

第四，增益来源仍有一部分不清。NormGuard 可能确实压制 artifact-causing norm inflation，也可能部分等价于让模型更接近 pretrained distribution，从而在 MLLM/forensic judge 上更讨好。论文排除了 early stopping 和 KL redundancy 的简单解释，但没有完全排除 evaluator preference bias 或 hidden conservatism。

Takeaway

• 1. 对 flow/diffusion RL post-training，不应只看 reward 曲线和 KL 距离；velocity field 的几何分解可能暴露更直接的 failure mode。
• 2. “偏离 reference”不是同质事件。
• 方向性偏离可能是 reward alignment，径向 norm inflation 可能是 artifact channel；未来 regularizer 应更多做 component-selective trust region。
• 3. CFG 中有效的 inference-time 修补不能机械迁移到 RL 微调模型，因为 RL 会把采样动力学 co-adapt 到权重里；类似问题更应该在训练期处理。

一句话总结

NormGuard 是一篇把 flow-matching RL 后的 reward hacking 从“整体漂移控制”推进到“velocity 几何分量控制”的工作，其实质贡献是识别并训练期压制 reward-weak、artifact-strong 的径向 norm inflation，而不是提出复杂的新 RL 算法。