精读笔记
Problem Setting
论文标题：H-OPD: Confidence Aware Heterogeneous Multi-Teacher Multimodal On-policy Distillation（arXiv preprint / 2026）。
这篇论文解决的不是一般的“如何蒸馏多模态模型”，而是 multimodal OPD 中 teacher supervision 的粒度问题：学生在自己的 rollout 上生成一串 reasoning tokens，每个 token state 可能需要不同类型的 teacher 纠偏。现有 OPD 通常把整个样本交给一个 teacher，或者按任务/模态做静态 routing，这隐含假设是同一条 trajectory 内 teacher reliability 不变。
真正困难点在于 multimodal reasoning 的错误不是均匀发生的。一个 VL 模型可能看对图，但在后续抽象推理中误用视觉证据；一个 text-only 模型没有原生视觉输入，但在给定足够视觉描述后，可能在代数、逻辑、语言推理上更稳。关键矛盾是：视觉 grounding 需要多模态 teacher，而抽象 reasoning 可能需要更强语言 teacher；但生成过程是 token-by-token 的，不能用 sample-level 选择一次性解决。
Motivation
已有路线不够的根本原因是它们把 teacher selection 当作输入属性，而不是解码状态属性。task-level routing 能区分“这是图像题还是文本题”，但不能区分同一道题里哪些 token 在读图、哪些 token 在推理、哪些 token 在组织答案。对于 OPD 来说，这尤其别扭，因为 OPD 的优势正是对 student-visited states 给 dense feedback；如果 teacher 本身仍按样本固定，就浪费了 on-policy state granularity。
作者的核心观察是 heterogeneous teachers 在同一条 reasoning trajectory 内并非冗余。VL teacher 与 text teacher 的 top-k token candidate overlap 不高，且 entropy difference 在正负两侧都有质量，说明二者的局部偏好和置信度会交替变化。这里的关键缺口是缺少一种机制，让多个 teacher 在同一个 rollout 前缀上同时被比较，并把 authority 下放到 token state。
Core Idea
H-OPD 的核心思想是把多 teacher distillation 从“选哪个 teacher 监督这个样本”改成“在当前 token state 上，哪个 teacher 更像可靠局部专家”。这改变了建模方式：teacher mixture weight 不再是 α(x)，而是 λ(s_t)。理论上这至少不会比 sample-level mixture 差，因为 sample-level routing 是 token-level arbitration 的特例；一旦最优 teacher 在 trajectory 内发生切换，token-level arbitration 就有严格更大的表达能力。
这个方法引入的 inductive bias 是“多模态推理存在局部能力分工”：视觉相关 token 应更多听 VL teacher，抽象推理 token 可更多听 text teacher。它不是单纯 ensemble，而是沿学生自己的状态轨迹做动态 teacher arbitration。相比 prior，它更 scalable 的地方在于不需要为每类任务预定义 router，也不依赖人工标注 token 类型；只要有异构 teacher 和一个局部置信度 proxy，就能扩展到更多 teacher 类型。但这种 scalability 是机制层面的，不等于系统成本低。
Method
第一，on-policy distillation 是基础约束：学生先按当前 policy 生成 y，teacher 在同一个 prefix y_<t 上给 token distribution。它解决的是 exposure bias；如果仍用离线 teacher demonstration，token-level arbitration 的意义会弱很多，因为 teacher 没有评价学生真实走到的状态。
第二，vision-to-language description transfer 解决 text teacher 无法看图的问题。它把视觉信息压缩成 task-relevant textual proxy，让 text teacher 参与多模态样本的监督。核心变化不是“加 caption”，而是把 text teacher 从纯文本任务扩展到多模态 reasoning 的后半段：它不负责原生感知，而负责在视觉语义已外化后的推理。
第三，confidence-aware arbitration 用两个 teacher 在 merged top-k support 上的 entropy 计算 λ_t。低熵 teacher 获得更高权重，最终 target distribution 是 VL/text teacher distribution 的 token-level mixture。它解决的是固定融合或固定路由无法响应局部状态变化的问题。
第四，merged top-k restricted KL 主要是工程必要性：避免全词表 teacher distribution 的成本，同时保留两个 teacher 各自认为重要的候选 token。它有稳定性价值，但不是论文最本质的 conceptual contribution。
Key Insight / Why It Works
最关键的 insight 是：multimodal reasoning 的 supervision 不应按样本分配，而应按状态分配。H-OPD 有效的根本原因不是“用了两个 teacher”，而是让不同 teacher 的优势在同一条 trajectory 内被局部调用。这个 inductive bias 非常合理：视觉感知和符号推理在自回归生成中本来就是交替出现的能力需求。
最可能的核心贡献是 token-level heterogeneous arbitration。vision-to-language transfer 是必要桥接，但它更像让 text teacher 入场的 adapter；top-k merging 是效率工程；entropy fusion 是一个简单但脆弱的 router。真正值得迁移的是“把 teacher reliability 建模为 state-dependent，而不是 task-dependent”。
不过，文中对“为什么熵等于可靠性”论证不足。低 entropy 可能只是 teacher calibration 更尖锐，不一定代表正确；特别是 reasoning 模型常有 overconfident wrong answer。H-OPD 的收益可能部分来自更强 teacher compute 和额外视觉描述预处理，而不完全来自 arbitration 本身。另一个可能的来源是 data filtering：55K 样本经过 VL description 和 GPT-4.1-mini 过滤后，训练数据质量可能已经显著提高。
从方法类型看，它不是 retrieval、不是 test-time compute，也不是长期 planner；更接近一种 better inductive bias + representation alignment + teacher ensemble compression。它把视觉信息外化为文本，再利用 text LM 的 reasoning prior；某种意义上是在利用 language modality 作为中间表示来对齐多模态与推理能力。
Relation To Prior Work
它最接近的谱系是 OPD / online KD / RL-style post-training，而不是传统 SFT 或 RLHF。和普通 KD 的差异在 on-policy state；和 GRPO/RLVR 的差异在不依赖 sequence-level reward，而用 teacher token distribution 提供 dense supervision；和单 teacher OPD 的差异在 teacher authority 可以随 token state 变化。
看似新的部分里，多 teacher ensemble、top-k KL、caption bridge 都不是新思想；真正实质新增的是把 heterogeneous teacher fusion 放到 OPD 的 token state 上，并明确针对 multimodal reasoning 中“perception vs reasoning”能力切换来设计 arbitration。
与 task-level router 相比，本质差异是 router 的条件变量从 x 变成 s_t=(x,y_<t)。这会显著改变学习信号：同一道题不再被单一 teacher 解释，而是被分解成局部监督片段。这个差异比“多了一个 text teacher”重要得多。
Dataset / Evaluation
评估覆盖面较广，包含数学、图表、视觉逻辑、OCR/general VQA，能说明方法不是只对单一 benchmark 过拟合。多学生规模、多 teacher 规模、stronger RL teacher 设置也支持它作为 post-training framework 的稳健性。
但 evaluation 主要验证了最终 accuracy 和 token efficiency，并没有充分验证核心 claim：token-level arbitration 是否真的在语义上学到了视觉/推理分工。heatmap case 是有说服力的定性证据，但样本级别太弱。pilot experiment 证明 teacher 分布不同、置信度交替，但“不相同”不等于“互补正确”。
没有真实 deployment 或 interactive setting。offline benchmark 上的提升可能受到训练数据覆盖、评测集风格、Qwen 系列 teacher/student 同源性影响。benchmark 是否存在 overlap 或 implicit memorization，文中未充分说明。对于 arXiv 2026 语境下的 MLLM reasoning benchmark，这一点需要保持怀疑。
Limitation
第一，方法把 text teacher 的可用性建立在 image description 上，因此不是直接解决 text teacher 无视觉能力，而是把视觉理解问题前置给 VL teacher。如果 description 缺失、错误或过度解释，text teacher 会在错误文本世界里自信推理；这不是小问题，而是 supervision contamination。
第二，entropy-as-confidence 是弱假设。teacher calibration、温度、top-k truncation 都会影响 entropy；低熵可能来自错误但尖锐的分布。文中未充分说明是否做过 calibration、是否比较过 verifier-based routing、agreement-based routing 或 learned router。
第三，增益归因不清。H-OPD 同时引入额外 text teacher、VL-generated descriptions、GPT filtering、multi-teacher inference、top-k fusion，很难判断提升到底来自 token-level arbitration 还是更干净的数据和更多 teacher compute。部分增益可能主要来自 scaling / data。
第四，scalability 有现实上限。每个 student rollout 需要两个 teacher 在 token 级查询，即使异步并行，训练成本仍显著高于单 teacher OPD。对于 32B、MoE 或多 teacher pool，token-level arbitration 的系统负担会成为主要瓶颈。
第五，它没有形成真正的长期状态建模或 planning。λ_t 是局部分布熵驱动的即时权重，不理解全局推理结构，也不能判断某一步视觉误读会如何传播到后续结论。因此所谓 reasoning improvement 更像局部监督重加权，而不是显式推理过程建模。
Takeaway
- 1. 最值得记住的是 teacher routing 的粒度变化：从 sample-level 到 token-state-level。
- 这一思想可以迁移到代码生成、数学推理、tool-use、agent trajectory distillation 等任何存在局部能力切换的任务。
- 2. 多模态 reasoning 的一个有效方向是把视觉信息外化成语言中间表示，再让强 text LM 接管抽象推理；这说明 text-only reasoning prior 仍然是 MLLM 后训练中可复用的强资源。
- 3. 未来真正值得做的是更可靠的 state-level teacher reliability estimation，而不是继续堆 teacher。
一句话总结
H-OPD 是把多模态 OPD 从静态 teacher routing 推向 token-state-level heterogeneous teacher arbitration 的方法，真正贡献是用局部能力分工重新组织 teacher supervision，而不是单纯扩大 teacher 或增加训练数据。