Awesome RL with Human Feedback / 2026 / OpenReview

BranchGRPO: Stable and Efficient GRPO with Structured Branching in Diffusion Models

作者：Yuming Li, Yikai Wang, Yuying zhu, Zhongyu Zhao, Ming Lu, Qi She, Shanghang Zhang · 单位：State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Beijing Normal University · 来源：OpenReview · 发布日期：2026

偏好学习对齐目标设计训练稳定性策略优化策略梯度人类反馈强化学习

精读笔记

Problem Setting

【BranchGRPO: Stable and Efficient GRPO with Structured Branching in Diffusion Models】（Awesome RL with Human Feedback / 2026）

这篇论文不是在重新定义 diffusion RLHF，而是在攻击视觉 GRPO 的一个很具体瓶颈：为了得到稳定的 group-relative advantage，需要对同一 prompt 采多条完整 denoising trajectory；但每条 trajectory 都要跑完整的 denoiser forward，并且 reward 只在最终图像/视频上评估。于是 group size 越大，统计越稳，但计算几乎线性爆炸。

真正困难点不是“如何把 PPO/GRPO 用到 diffusion”——这个 DanceGRPO / FlowGRPO 已经做了；困难是 diffusion 的 action horizon 很长、每一步都昂贵，而 reward 又是 terminal-only。已有方法把最终 reward 均匀传播到所有 timestep，本质上假设所有 denoising step 对最终偏好贡献相同，这在视觉生成里很可疑：早期结构、布局、运动趋势与后期纹理、细节的决策重要性显然不同。

因此关键矛盾是：视觉 RLHF 想要更大的 on-policy sample group 来降低相对优势估计方差，但独立 sequential rollout 使这种 scaling 不可承受；同时想要 step-level credit assignment，却只有 leaf reward。BranchGRPO 的问题设定就是在不引入额外 dense reward model 的情况下，用 rollout 结构本身同时改善 sample efficiency 和 credit assignment。

Motivation

已有路线的不够之处在于，它们仍把 diffusion sampling 当作 N 条相互独立的链来做 GRPO。这个建模方式没有利用 diffusion 轨迹之间的共享结构：同一 prompt 下，多条样本完全可以共享一段前缀，然后在若干关键 step 分叉。换句话说，GRPO 的“group”没有必要被实现为独立 rollout 集合，也可以实现为一棵 trajectory tree。

作者的核心观察是：branching 不一定破坏 diffusion 的边际采样分布，只要分叉噪声构造保持每个 child transition 的 marginal 与原 SDE 一致；同时，树结构天然允许 leaf reward 回传到 internal node，使每个深度的节点获得由其 descendants 聚合出的局部价值信号。

这篇论文补的关键缺口是：之前视觉 GRPO 主要在 objective 或 timestep weighting 上修补 sparse reward 问题，但 rollout topology 仍是 flat group；BranchGRPO 把 credit assignment 和 compute sharing 绑定到同一个结构里。这个动机是合理的，因为 diffusion denoising 本来就是一个逐步生成过程，而不是一次性 action。

Core Idea

核心思想可以概括为：把 GRPO 中“一组完整独立轨迹”的采样单位改成“一棵共享前缀、局部分叉的去噪树”。在这棵树里，早期 denoising state 被多个后续 leaves 共享，后续随机性通过 correlated branch noise 注入；最终所有 leaves 仍被 reward model 打分，但 reward 不再直接广播到全路径，而是沿树向上融合，再在同一 depth 内归一化形成 edge-level advantage。

这个改变的本质不是多了一个模块，而是改变了信息流：forward 端把计算从重复链改成 prefix amortization；backward / learning 端把 terminal reward 从单点监督改成 tree-structured value estimate。它引入的 inductive bias 是：同一深度的 nodes 处在相同 noise level，应该在局部比较；同一 internal node 的 children / descendants 反映了该状态下的局部随机决策后果。

和 prior 的本质差异在于，DanceGRPO / FlowGRPO 的 group 是 flat sample set，TempFlow-GRPO 等主要是在 timestep 上做 weighting；BranchGRPO 则把 group 本身结构化。它更 scalable 的原因不是神秘优化技巧，而是把大 group sampling 变成共享计算图上的 tree expansion；更 generalizable 的潜力来自它不依赖某个特定 reward 或 backbone，只要求生成过程能写成逐步 stochastic transition。

Method

方法里真正关键的机制有三层。

第一，branch rollout 解决的是独立采样的计算冗余。作者在指定 split steps 将当前 denoising state 扩展成 K 个 child，并用共享噪声加 branch-specific innovation 构造 correlated noise。重要点是每个 child noise 的 marginal 仍是标准高斯，因此单条 leaf 的边际分布理论上不偏离 baseline SDE。这个设计的作用不是提升表达能力，而是允许多个 samples 共享 prefix，同时保留足够探索。

第二，reward fusion + depth-wise advantage 解决 sparse terminal reward 的 credit assignment。internal node 的 value 由 descendant leaf rewards 聚合得到，聚合权重可以 uniform，也可以按 behavior path probability 加权。随后在同一 depth 内标准化 advantage。这里的机制变化是：GRPO 的比较对象从“同 prompt 下最终样本”扩展为“同 depth 下 tree nodes / edges”，使不同去噪阶段都有相对信号。

第三，pruning 解决树结构带来的反传成本。关键设计是 pruning 只发生在 reward fusion 和 normalization 之后，并且只剪 gradient computation，不剪 forward rollout 和 reward evaluation。因此它不是减少探索，而是减少哪些 edge 参与 policy update。width pruning 偏向减少 leaf update 数；depth pruning 偏向跳过某些 timestep 的梯度。论文结果看，depth pruning 反而带来更好 reward，暗示不少 timestep 的 policy gradient 信号可能是冗余甚至噪声。

Hybrid ODE-SDE 更像对 MixGRPO 的组合：保留 branching step 的 stochasticity，其余部分用更便宜的 ODE / sparse SDE 近似。它实用，但从机制上看不是 BranchGRPO 最核心的新意。

Key Insight / Why It Works

这篇论文最值得关注的 insight 是：视觉 GRPO 的低效不只是 objective 问题，而是 rollout geometry 问题。只要 reward 是 terminal-only，flat independent trajectories 就会同时浪费计算和浪费结构信息；tree rollout 让同一个 reward batch 产生更多中间 credit 信号，也让同等 compute 下能支持更大的 effective group size。

真正有效的部分大概率是两个因素叠加：一是 memory / compute reuse，即 prefix sharing 让大 group scaling 变得可行；二是 better control variate / lower-variance estimator，即 depth-wise normalization 和 descendant reward fusion 给每个 edge 更局部的相对优势。论文的 Reward-KL 曲线显示 BranchGRPO 每单位 KL 换到更多 reward，这更像优化估计质量提升，而不只是训练更久。

branch noise 的理论保证很重要但作用边界有限。它保证 leaf marginal 不变，不保证 joint distribution 与独立 samples 等价。事实上，branch leaves 是相关的；相关性过强会降低 effective sample size，过弱又可能破坏稳定性或增加方差。ablation 中中等 correlation 最好，说明该方法依赖一个 bias-variance sweet spot，而不是无条件优于独立采样。

reward fusion 中 path-weighted fusion 比 uniform 更稳，说明这不是简单 average descendants，而是在用 behavior distribution 做一种 softened value backup。这里有一点类似 off-policy / importance weighting 的味道，但论文实际实现的 softmax path log-prob 不是严格无偏估计。增益可能来自降低 noisy low-prob branches 的影响，而不是更正确的 credit assignment。

pruning 的作用我判断主要是 engineering + implicit regularization。它减少 backprop cost 是明确的；depth pruning 提升最终 reward 则说明某些 timestep 的梯度可能有害，或者 sliding window 形成了某种 curriculum。但论文没有充分拆开“少反传所以更快”和“跳过噪声 timestep 所以更好”的贡献。

Scaling 也是重要增益来源。BranchGRPO 能用接近 DanceGRPO 的 GPU-hours 跑更大 group size，并得到更高 reward；这说明部分性能提升可能主要来自 larger effective group / BoN-like exploration，而不是单纯 objective 更优。作者把这称为 scaling law 是合理趋势，但还不是严格 scaling law。

Relation To Prior Work

最接近的路线是 DanceGRPO / FlowGRPO / MixGRPO / TempFlow-GRPO。DanceGRPO 和 FlowGRPO 解决了 diffusion / flow 中如何做 GRPO；MixGRPO 关注 ODE-SDE 混合来降采样成本；TempFlow-GRPO 关注 timestep credit weighting。BranchGRPO 与它们的区别在于，它不是只改 timestep 权重或采样步数，而是把 group rollout 从 flat set 改成 tree。

和 TreePO / tree search 类方法的关系也明显：tree-structured rollout、leaf reward backup、剪枝都是已有思想。但在 diffusion RLHF 中的实质创新是把 tree 结构嵌进 reverse SDE，并构造 correlated Gaussian branch noise 来保持 single-leaf marginal。这一点比简单把 LLM tree search 搬过来更具体，也更贴合 diffusion 的连续状态 / 噪声过程。

看似新的 reward fusion，其实可以理解为 Monte Carlo value backup + group baseline + depth-wise control variate 的重组。实质新增信息是：在 diffusion denoising 中，“depth”是一个自然可比较维度，同 depth normalization 比 prompt-level terminal normalization 更符合过程结构。

它属于 policy-gradient RLHF 中的 rollout-structure optimization 谱系，而不是 reward modeling 或 preference objective 的根本替代。若未来这个方向继续发展，核心很可能不是再设计一个 clipped loss，而是如何自适应地分配 rollout tree 的宽度、深度和 stochasticity。

Dataset / Evaluation

评估覆盖了 text-to-image、不同 backbone，以及初步 image-to-video / video generation，说明方法不是完全绑死在单一模型上。FLUX、SD3.5-M、Qwen-Image、Wan2.1 上的结果共同支持“结构化 branching 是通用训练技巧”这一 claim。

不过主要证据仍是 reward-model based evaluation：HPS-v2.1、PickScore、ImageReward、Unified Reward、VideoAlign / vBench 等。它们能验证 reward optimization 和 benchmark alignment，但不能完全证明真实 human preference 泛化。论文有小规模 human A/B study，但规模很小，更多是 sanity check，不足以排除 reward hacking 或 reward-model-specific overfitting。

关于 diversity，作者做了 distribution-level KID / MMD、CLIP feature、LPIPS-MPD / TCE 检查，基本回应了“共享 prefix 会不会坍缩”的疑问。但这些指标只能说明短期统计相近，不说明长尾 prompt、复杂 compositional prompt 或安全相关 prompt 下没有 mode bias。

视频实验支持方向性结论：BranchGRPO 对长 horizon、temporal consistency 更有价值，因为 video 的 sparse reward 和 rollout cost 更严重。但视频部分仍偏初步，主要是短视频 / 单 reward setting，没有充分验证长时序规划、复杂 motion semantics 或真实用户偏好。

Limitation

第一，方法依赖固定或手工设定的 branching schedule。论文显示 early dense branching 较好，但没有回答为什么这些 step 是关键 step，也没有学习式分叉策略。若不同 backbone、sampler、resolution、task 的关键 denoising阶段不同，固定 schedule 的泛化会受限。

第二，tree rollout 并没有消除指数增长，只是通过 prefix sharing、pruning 和 hybrid sampling 推迟了成本爆炸。group size 到 256 已经需要显著 GPU-hours；更长视频或更高分辨率下，树宽和 reward evaluation 成本仍会成为硬上限。

第三，reward fusion 的统计性质不完全干净。uniform fusion 无偏但高方差；path-weighted fusion 稳定但有 bias。深树中高 likelihood path 可能被过度强调，从而压低低概率但高 reward 的 exploratory branches。文中未充分说明这种 bias 对最终 policy mode coverage 的影响。

第四，depth-wise normalization 的前提是同深度节点可比较，而跨深度 reward scale 不可直接比较。这个假设在 diffusion 中大体合理，但可能掩盖真实的跨时间 credit：某些 early structural decision 的 reward variance 本来就应该更大，强行标准化可能改变优化目标。

第五，增益归因仍不清晰。BranchGRPO 同时改变了 rollout correlation、effective group size、advantage estimator、gradient pruning、ODE-SDE schedule。最终提升可能相当一部分来自 scaling / compute reallocation，而非 reward fusion 本身。论文虽有 ablation，但还不足以完全隔离这些因素。

第六，prompt adherence 的 trade-off 需要注意。附录显示 HPS-only GRPO 会降低 CLIPScore，BranchGRPO 也不例外。这说明它优化的是 reward model 偏好，而不是无代价提升生成质量；多目标 reward 可部分缓解，但这又引入 reward composition 的问题。

Takeaway

  • 1. 视觉 GRPO 的下一步不应只盯着 loss 形式，而应优化 rollout topology。
  • flat independent group 是低效表示，tree / DAG 式 rollout 更符合 diffusion 的逐步生成结构。
  • 2. BranchGRPO 最可迁移的 insight 是：terminal reward 可以借助生成过程中的共享结构被转化为局部 dense advantage，而不一定需要额外训练 process reward model。
  • 3. prefix sharing + controlled correlation 是一种很实用的 scaling trick：它让大 group exploration 在 diffusion / video 这类昂贵环境中变得可行，但需要承认其本质是 correlated sample scaling，不是免费获得独立样本。

一句话总结

BranchGRPO 是把视觉 GRPO 从 flat sequential rollout 推向 tree-structured rollout 的方法演化，真正贡献在于用共享前缀和树上 reward backup 同时提升 diffusion RLHF 的计算可扩展性与 credit assignment 质量。