精读笔记

Problem Setting

这篇论文实际处理的是 LM preference alignment 中的 credit assignment，而不是一般意义上的 reward modeling。给定的偏好通常只告诉我们“哪个完整输出更好”，但 LM 的参数更新发生在每个 token 的 conditional distribution 上。于是核心矛盾是：优化信号是 coarse sequence-level，控制变量是 fine token-level。

以前的路线大致有两类：一类直接用 sequence-level metric / reward 做 RL，例如 PPO、Q-learning、self-critical training；另一类学习 sequence-level reward model 再做 policy optimization。这些方法的问题不是不能用，而是 token-level update 仍然需要从 terminal reward 反推早期 token 的责任，尤其在长序列中方差大、sample efficiency 差。KL penalty 虽然提供 token-level term，但它是 regularization，不是 task preference 的分解；它稳定训练，却不告诉模型哪个 token 对最终偏好有贡献。

因此这篇论文真正要解决的是：在没有 token-level annotation、甚至没有大量 supervised data 的情况下，能否把 sequence-level preference 转换成 token-level dense guidance，使 LM update 的粒度和 feedback 的粒度对齐。

Motivation

作者的核心观察是 granularity mismatch：preference 在 sequence level，LM loss 在 token level。这个观察本身不新，RL 文献里就是 delayed reward / sparse reward，但在 LM fine-tuning 中经常被 PPO + KL 这样的工程范式掩盖了。论文认为，现有 alignment 方法多数是在优化器层面绕过问题，而不是在 feedback representation 层面解决问题。

关键缺口是缺少一种低成本的 preference grounding 机制：既不要求人给 token-level rationales / error spans，也不要求大量 expert demonstrations，又能从完整输出的相对排序中恢复某种 per-token guidance。这个方向自然来自 imitation learning / reward learning from preferences，但文本任务有两个额外问题：序列长度可变，以及文本质量不一定是 token reward 的简单求和。

因此本文的动机不是“再训练一个 reward model”，而是把 reward model 的输出粒度从 sequence 改成 token，并让 aggregation function 显式表达不同任务中的质量组合假设。

Core Idea

论文的核心思想可以概括为：把 token-level reward 看成 sequence-level preference 的 latent explanation。给定同一输入下多个候选输出的排序，训练 r_phi(s_t, a_t)，使得每个候选序列经过 token reward aggregation 后的 score 排序与外部 preference 一致。这样，preference 不再只作为最终 scalar，而被投影成每个 token decision 上的 dense signal。

这个建模方式引入了一个重要 inductive bias：最终偏好可以由局部 token-action 的质量通过某种 aggregation 解释。这个 bias 在很多生成任务里是有价值的，因为它把一个高方差的 global optimization 问题转成了更接近 supervised token weighting / dense reward shaping 的问题。与 prior 的本质区别在于，prior 多数学习“整段文本好不好”，再让 RL 去做 credit assignment；本文直接学习“哪些 token decision 倾向于导致好文本”，把 credit assignment 前置到 reward learning 阶段。

另一个核心变化是 aggregation 不固定为 sum。sum 隐含“每个好 token 都线性累积质量”，这在机器人轨迹中自然，但在文本中经常错误：prompt 可能靠少数 key tokens 起作用，summary 质量则更接近整体平均或 worst-case bottleneck。允许 average / max / min 实际上是在给不同任务选择不同 credit structure。

Method

方法上真正必要的机制有三块。

第一，listwise preference grounding。给定 K 个候选生成及其排序，用 Plackett-Luce / ListMLE 风格 loss 训练 token reward，使 aggregation 后的 sequence score 匹配排序。它解决的是 pairwise preference 信息利用不足的问题。相比二元比较，listwise ranking 在同等采样预算下提供更密集的相对信息，也更适合自动 metric 能同时评估多个候选的场景。

第二，可选 aggregation function。token reward 到 sequence score 的映射不是细节，而是方法的 inductive bias。sum 容易偏向长序列；average 抑制长度偏置；soft max 假设少数关键 token 可决定质量；soft min 假设最差局部质量拖累整体。这个设计解决的是“文本质量如何由 token-level latent reward 组合”的问题，也是本文比经典 preference-based IRL 更适合 LM 的地方。

第三，guidance utilization。无监督 prompt search 中，用 REINFORCE-style update 直接提升采样 token 的 r_phi，并加 entropy 保持探索；有 supervised target 的 summarization 中，用 r_phi 做 reward-weighted MLE，强调高 reward token。这里的重点不是具体 optimizer，而是把原本 sequence-level optimization 改成 token-level weighted optimization。

第四，交替重估 reward。因为 LM 分布会随训练移动，固定 reward model 容易在旧分布上有效、新分布上失真。周期性 re-training r_phi 解决的是 reward model distribution shift。这个机制可能贡献不小，但也带来额外计算和环境 / metric 查询成本。

Key Insight / Why It Works

这篇最关键的 insight 是：与其让 policy optimization 在巨大离散序列空间里从 terminal reward 做 credit assignment，不如先训练一个 latent token reward，把 credit assignment 转移到一个 ranking-supervised representation learning 问题中。这个转移降低了 LM update 的方差，也让每个 token step 都能收到 task-specific signal。

我认为真正有效的部分是 preference-grounded dense shaping，而不是 Plackett-Luce、softmax aggregation 或 alternating training 本身。Listwise loss 是合理增强，但更像信息利用效率的 engineering；reward re-estimation 也重要，但属于分布匹配上的训练稳定技巧。核心贡献是把 sequence preference 解释为 token-level reward field，并用它替代 delayed reward 做 LM training。

这本质上是 better inductive bias + representation alignment，而不是 scaling、retrieval、memory reuse 或 test-time compute。它没有增加推理时搜索能力，也不是从更多知识中获益；它是在训练阶段改变 preference 信息流：从“最终打分影响整条轨迹”变成“偏好约束出的 token field 直接塑形 policy”。

但这个机制是否总成立取决于任务。对于 prompt generation，少数 token 确实可能主导下游 classifier 行为，因此 max aggregation 很合理；对于 summarization，average / min 更好也符合直觉。但这也说明方法很依赖 aggregation 假设。如果任务质量来自长程事实一致性、跨句结构、隐含推理链，那么 token-local reward 可能学到的是 metric shortcut，而非真实 causal credit。

还要注意，实验中的 preference 多数由自动 metric 模拟，而不是真实人类偏好。自动 metric 本身往往可被局部 lexical overlap 解释，因此 token-level decomposition 会天然占优。这不是致命问题，但说明 claim “grounding preference” 在 human preference alignment 上还没有被充分验证。

Relation To Prior Work

它最接近三条线：preference-based reward learning / IRL，RL-based LM fine-tuning，以及 weighted MLE / reward-weighted regression。

与经典 RLHF 的差异在于 reward 粒度。RLHF 通常学习 sequence-level reward model，然后 PPO 用这个 terminal reward 加 KL penalty 更新 policy。本文学习 token-level reward model，且 reward 的训练目标仍来自 sequence-level preference。换言之，它不是替代 preference learning，而是改变 preference learning 的 factorization。

与 reward learning from preferences / imitation learning 的关系很直接：Bradley-Terry pairwise trajectory preference + sum reward 是原型；本文把它扩展到 variable-length text、listwise ranking，以及非 sum aggregation。这里的新意不是 Plackett-Luce 本身，而是把 aggregation choice 作为文本任务的 credit structure 来处理。

与 RLPrompt、PPO、NLPO 等 RL baselines 的本质差异是：baseline 仍在稀疏 sequence reward 下学习，token-level KL 只是稳定器；本文的 token-level term 是 task-specific learned guidance。因此它更像 learned reward shaping，而不是传统 policy optimization。

与 DPO / IPO / direct preference optimization 相比，本文不是直接在 policy ratio 上拟合偏好，而是先学习 token-level guidance 再训练 policy。DPO 避免显式 reward model，但仍主要在 sequence preference 层面约束 policy；本文显式追求 token-level credit。两者潜在互补，但文中未比较，这是一个明显缺口。

Dataset / Evaluation

实验选择有一定针对性：prompt generation 是几乎无监督、短序列、搜索空间离散且 reward 稀疏的场景；summarization 是有监督、长序列、标准生成任务。二者覆盖了不同 supervision regime，因此能支持“框架可用于不同数据条件”的 claim。

不过 evaluation 对核心 claim 的支持仍有限。首先，preference 主要由自动 metric 模拟：prompt 用 RLPrompt 的 stepwise metric，summarization 用 Meteor / Rouge variants。自动 metric 排序更容易被 token-level lexical features 分解，因而可能高估 token guidance 的有效性。真实 human preference 是否能同样稳定 ground 成 token reward，文中只在 summarization 上做了有限 human evaluation，且不是用 human preference 训练 reward。

其次，任务范围仍偏窄。prompt 长度固定且很短，summarization 使用 T5-small / T5-base，未展示在大模型 RLHF-style open-ended alignment 上的可扩展性。论文声称适合低数据 regime，但 summarization 仍有 supervised references，prompt 任务虽然无 ground-truth prompt，却依赖下游 classifier + validation metric 作为偏好来源。

比较上，sequence-level guidance ablation 和长 prompt ablation 是最能支持论文主张的证据：它们确实显示 delayed feedback 随序列变长更糟，token-level grounding 更稳。但整体还不能证明该方法能替代 RLHF 中复杂人类偏好建模，只能证明在 metric-driven generation 中 dense preference shaping 很有效。

Limitation

最大限制是 latent token reward 的可识别性。给定 sequence ranking，可以有无数种 token reward decomposition 都能解释排序；论文没有约束哪一种 decomposition 更接近真实 causal contribution。模型可能只是学到与 metric 相关的 surface pattern，而不是哪个 token 真正导致 preference 改善。

第二，aggregation function 是手工 inductive bias。不同任务需要不同 aggregation，实验也显示 max 在 prompt 有用、在 summarization 不合适。这意味着方法的泛化并非完全自动；如果任务 credit structure 不清楚，aggregation 选择会成为新的调参问题。文中未充分说明如何系统选择或学习 aggregation。

第三，scalability 仍不清晰。周期性 reward re-training 在小模型和自动 metric 下可行，但在人类偏好场景中意味着反复采样、排序、更新 reward model，成本可能很高。作者说可用 human ranking，但没有展示在真实 RLHF 数据收集闭环中的可行性。

第四，方法可能把 delayed feedback 问题转移到了 reward model 的泛化问题。LM update 依赖 r_phi 的 token-level extrapolation；一旦 r_phi 在新分布上错误打分，dense guidance 会比 sparse reward 更危险，因为它会在每一步系统性误导 policy。

第五，增益归因不完全清楚。性能提升可能来自 token grounding，也可能来自额外 reward model capacity、listwise ranking 更充分利用候选、周期性 re-estimation、或对 evaluation metric 的更直接拟合。虽然 ablation 做了一些拆解，但还不足以完全隔离这些因素。

Takeaway

• 1. sequence-level preference alignment 的瓶颈之一确实是 credit assignment，而不只是 reward model 精度或 PPO 稳定性；把偏好 ground 到 token level 是一条值得继续做的路线。
• 2. 文本任务中的 reward aggregation 不能默认 sum。
• aggregation function 实际编码了任务质量如何由局部决策组合而来，这个 insight 可迁移到对话、代码生成、tool use、long-form generation 等任务。
• 3. 这篇论文最有价值的方向不是当前的 REINFORCE / weighted MLE recipe，而是“preference-supervised latent dense reward decomposition”。

一句话总结

这篇论文把 RLHF / metric optimization 中的 sequence-level preference 重新建模为可聚合的 latent token-level guidance，是一类从“稀疏偏好优化”走向“偏好驱动 dense credit assignment”的方法演化。