精读笔记

Problem Setting

这篇论文研究的是 partial observability 下的 preference-based reward learning：learner 看不到真实 latent state，只能用 learned POMDP model 通过 Bayesian filtering 得到 belief，然后用 belief-action trajectory features 拟合 Bradley–Terry reward model。真正问题不是“如何做偏好学习”，而是偏好学习所依赖的 feature 本身是由不精确 dynamics 推断出来的。

关键困难是 belief filter 对模型误差没有一般性的 contraction。fully observed MDP 中，trajectory feature 是给定的；这里 feature 是历史、模型参数和 observation channel 的非线性函数。模型错一点，不只是单步 observation error，而会沿 filtering recursion 累积，并最终变成 MLE 的 systematic bias。

以前 fully observed RLHF 理论卡在默认 oracle features；filter stability 文献则通常只讨论 belief 是否稳定，不继续分析对 preference MLE 的影响。本文的关键矛盾是：human feedback 数量可以无限增加，但如果 belief construction 有固定误差，reward estimator 仍会收敛到错的对象附近，而不是真 reward。

Motivation

已有路线不够，是因为 RLHF 理论里“状态/特征可观测”这个假设在很多交互系统中并不成立。LLM 场景下用户意图、信念、满意度、误解程度等都更像 latent state；系统只看到文本、点击或反馈表面信号。若继续用 fully observed reward learning 分析，会把最主要的 inference error channel 藏掉。

作者的核心观察是：partial observability 并不只是 policy optimization 的问题，它已经污染 reward learning 阶段。preference label 可能仍然符合 clean belief feature 上的 BT model，但 learner 实际拿到的是 approximate belief feature。因此 reward learning 的可行性取决于 filter stability，而不仅是 preference sample size。

关键缺口是缺少一个从 learned dynamics error 到 reward estimation error 的端到端误差账本。本文填的不是算法 gap，而是理论归因 gap：把“模型学得不准”如何变成“奖励学不准”写成可分解上界。

Core Idea

核心思想是把 POMDP 的 hidden-state 问题提升到 belief-MDP，但不假设 belief 是 oracle，而是显式分析 approximate belief。这样 reward 仍可写成 belief feature 上的线性函数，preference learning 仍可落到 Bradley–Terry MLE；区别在于所有 trajectory features 都带有由 learned filter 产生的 structured perturbation。

理论上这可能成立的原因是：在足够 mixing 的 POMDP 中，Bayesian filter 虽然每步受到模型误差注入，但历史误差会被 transition-observation 组合部分遗忘。Dobrushin 条件提供了这种 forgetting 的显式收缩率，使长期 belief mismatch 不随 horizon 线性爆炸，而被压到由参数误差决定的 bias level。

和 prior 的本质区别是信息流被重新组织了：不是从 observed state 直接构造 preference feature，而是 model estimation → filtering → feature construction → reward MLE。这个组织方式引入的 inductive bias 是“belief 是 reward learning 的 sufficient representation”，但它同时暴露了一个上限：belief representation 的误差会成为 reward learning 的不可消除瓶颈。

Method

1. Belief-MDP lifting：解决 latent state 不可直接进入 reward feature 的问题。通过 φ_b(b,a)=E_b[φ_r(s,a)]，线性 latent reward 被转成 belief feature 上的线性 reward。核心变化是 reward learning 的对象从 state trajectories 变为 belief trajectories。

2. Filter stability under model mismatch：解决 approximate belief 是否可控的问题。作者在 log-linear POMDP 下用 Dobrushin coefficients 控制 transition mixing 和 observation channel overlap，得到 E[TV(b_t^Θ,b_t^{Θ*})] ≤ propagation factor × one-step model mismatch。必要性在于模型误差每步注入，比 initialization error 更难，因此条件也更强。

3. Time-average high-probability belief event：解决 preference features 依赖整条 trajectory 的问题。论文不要求 sup_t belief error，而控制 trajectory average belief mismatch，再 union bound 到 2N_HF 条 rollout。核心变化是把 filter stability 转成可供 MLE 使用的 uniform feature perturbation event。

4. Perturbed Bradley–Terry MLE analysis：解决 preference estimator 用错 features 的问题。clean gradient 有 mean-zero property，可以用 self-normalized concentration；perturbed gradient 没有这个性质，所以作者分解成 clean gradient + deterministic perturbation bias。这个处理是 reward-learning 部分最关键的技术细节。

5. Neural-softmax extension：把 log-linear score 换成 NTK linearized neural score。它解决表达力不足的问题，但机制上主要是 tangent-feature log-linearization，有限宽误差以 additive term 进入 belief bound；这更像证明框架的扩展，而不是新的 deep learning 理论。

Key Insight / Why It Works

最核心贡献是识别并形式化了 partial observability 下 preference reward learning 的 bias floor。fully observed 设定里，N_HF 增大通常可以压低统计误差；本文指出在 approximate belief 下，N_HF 只能压低 label noise / sampling noise，不能修复 feature construction bias。这个判断很重要，因为它直接改变 RLHF scaling 的解释：更多偏好数据不一定解决 latent-state inference 错误。

方法有效的根源不是 Bradley–Terry MLE 的新技巧，而是 filter stability 把动态系统误差压成一个可插拔的 feature perturbation bound。只要有 1/T Σ_t TV(b_t,b_t*) ≤ ε_b，后面的 reward learning 分析基本模块化成立。也就是说，真正可迁移的 insight 是：reward learning theory 可以只依赖 belief-accuracy certificate，而不必关心 belief 是 Bayesian filter、RNN belief model 还是 variational inference module 给出的。

最可能是核心贡献的部分：model mismatch filter stability + perturbed BT gradient decomposition。前者给 partial observability 一个可量化入口，后者避免了一个常见但错误的 shortcut：直接把 perturbed features 当成 clean design 用 concentration。

相对辅助的部分：neural-softmax/NTK extension。它把有限 log-linear模型扩到 overparameterized network，但本质上仍依赖局部线性化和 bounded tangent features；这不是证明真实深网学到了好的 latent dynamics，而是说明只要神经模型在 lazy regime 近似 log-linear，原证明可继承。增益来源不清，可能主要是 function class scaling 的形式化，而非 representation learning 的实质突破。

这篇不是 scaling paper，也不是 retrieval/memory/test-time compute 路线。它本质上是 latent structure + robust estimation 的理论工作。其 inductive bias 是 belief-state sufficiency；其上限也来自这里：如果 belief 不稳定、不可识别或 learned dynamics 系统性偏，preference MLE 再强也只能学习到被污染的 reward proxy。

Relation To Prior Work

最接近的三条线是：fully observed preference-based RLHF 理论、POMDP/filter stability、latent reward-state RLHF。本文不是在任一条线上单点推进，而是把 filter stability 接到 preference MLE 上。

相对 Zhu/Du 等 fully observed RLHF 理论，真正不同点是 feature 不再是 oracle observed trajectory feature，而是 learned belief feature；因此 self-normalized MLE 分析必须额外处理 feature perturbation 和 covariance perturbation。fully observed 结果可看作 ε_b=0 的退化情形。

相对 Mcdonald and Yüksel 式 filter stability，本文新增的是 model mismatch 每步注入误差，并把稳定性结果用于 downstream reward estimation。经典 initialization stability 只说明初始 belief 错误会忘掉；这里说明 learned dynamics 错误会形成持续 bias source。

相对 Kausik et al. 的 partially observed reward-state RLHF，差异在 latent variable 的位置：那里环境状态可观测、reward-state latent；本文是 environment state latent，reward 不可直接访问，agent 只能通过 observations 和 preferences 学。这个区别不是表述差异，而决定了误差通道：本文的核心是 belief inference error 污染 feature。

看似新的 neural-softmax 部分，本质上是已有 NTK/lazy-training 思想与 softmax POMDP 的重组。实质创新不在 neural approximation，而在把 learned latent dynamics 的误差传播到 preference reward learning 的有限样本界。

Dataset / Evaluation

evaluation 主要是 synthetic diagnostics，不是现实 RLHF benchmark。第一组实验验证 belief-stability bound 的定性行为：模型扰动越大、realized α 越接近不稳定，belief mismatch 越大；在稳定区间内 error 不随时间无界增长。第二组实验绕开 POMDP estimation/filtering，直接构造 clean/perturbed belief features，验证 BT reward estimation 中统计误差下降但固定 belief error 造成残余误差。

这些实验能支持论文的机制 claim，但支持范围有限。它们验证的是“如果理论条件近似满足，误差分解趋势合理”，不是验证真实 learned POMDP + human preference pipeline 可行。没有真实世界、多任务、LLM/RLHF 或 closed-loop policy optimization 评估。

benchmark 没有证明 Dobrushin 条件在实际系统中常见，也没有证明 learned neural belief model 能达到所需 ε_b。实验中的 perturbation 和 stability bands 是受控合成设定，因此更像 proof sanity check，而非 empirical contribution。文中未充分说明该理论在 realistic weak-mixing POMDP 或 high-dimensional latent user modeling 中会有多大可用范围。

Limitation

第一，成立依赖强 stability。α=(1-κ_P)(4-3κ_Φ)<1 是 sufficient condition，但可能非常保守；在近 deterministic dynamics、稀疏 observation、强 aliasing 或 adversarial observation regimes 下很容易失效。真实交互系统往往并不满足 uniform mixing。

第二，POMDP model estimation 被假设为局部精确。论文假设 learned Θ 在 Θ* 附近，但没有给完整数据条件保证 EM/MLE 学到这个 neighborhood。换言之，最难的“latent dynamics 怎么学准”被模块化外置了。

第三，分析固定 common logged history，不处理 closed-loop distribution shift。如果 learned belief 改变 policy，policy 又改变 observation distribution，那么 feature error 不只是同一 history 上的 filter mismatch，还包括 trajectory drift。论文明确避开这一点，因此 deployment gap 很大。

第四，neural-softmax 扩展依赖 lazy-training/NTK。它对实际深网 representation learning 的解释力有限；如果模型能力来自 feature learning 而不是局部线性化，该理论未覆盖。这里的 neural 部分可能主要是 scaling/formal generalization，而不是实质机制突破。

第五，reward model 假设较干净：linear latent reward、correct Bradley–Terry realizability、independent comparisons、bounded features。真实 preference feedback 中 annotator inconsistency、context dependence、nonstationary preference、strategic bias 都会额外引入 misspecification。本文的 bias floor 只是 belief-induced bias，不是完整 RLHF bias。

第六，最终 bound 的 norm 是 adaptive covariance norm，加 ζI 后再转 value bound 会引入 ζ^{-1/2}。如果 covariance coverage 差，Euclidean/decision-relevant error 可能远大于 theorem norm 所显示的误差。数据覆盖仍是隐藏关键前提。

Takeaway

• 1. partial observability 下，reward learning 的瓶颈可能不是 preference data 数量，而是 belief construction accuracy；更多 human feedback 不能修复 learned dynamics bias。
• 2. 一个有用的理论接口是 belief-accuracy certificate：只要能证明或估计 trajectory-average TV belief error，后续 preference MLE 误差可以模块化分析。
• 这对 direct belief model、variational filter、recurrent latent model 都可迁移。
• 3. filter stability 应该成为 latent-state RLHF 的核心对象。

一句话总结

这篇论文把 preference-based RLHF 从 fully observed Bradley–Terry 估计推进到 POMDP belief-error-aware 的 robust estimation 框架，真正贡献是证明 learned dynamics 的 filter mismatch 会形成可量化但不可由更多偏好数据消除的 reward-learning bias floor。