精读笔记

Problem Setting

这篇论文真正处理的是 caption evaluation 中“生成式 judge 如何变成可靠 metric”的问题。传统 lexical/embedding metric 卡在语义等价、细粒度 hallucination、coverage 和 fluency 的混合判断上；LLM-as-a-Judge 虽然更强，但它通常通过 LM head 对少数 score tokens 做概率读数，本质上仍是在一个大词表 next-token distribution 里取几个 token 当评价标签。任务的关键矛盾是：评价是低维、有序、封闭的质量判断，而 LLM 输出层是高维、开放、面向语言生成的 token prediction。Rigel 要解决的是这个建模空间错配，而不是再设计一个更复杂的 prompt。

Motivation

已有路线缺的不是更大的 judge，也不只是更多维度的 rubric，而是一个与评分任务同构的输出层。作者观察到 score tokens 与 non-score tokens 的 logits 混在一起，说明 LLM 在回答“给 1–5 分”时并没有把概率质量限制在评价标签空间；这会让评分受无关词表、tokenization 和 prompt 细节影响。这个观察推动了 Rigel 的方向：保留 MLLM hidden state 中的视觉-语言判断能力，但不要依赖 LM head 的词表级竞争来产生分数。关键缺口是 task-aligned scoring interface。

Core Idea

Rigel 的核心思想是把 LLM judge 从生成式 token scoring 改造成判别式 ordinal scoring。它先让冻结 LLM 作为教师，在 score-token 子空间里给出软分布；再训练一个小 scoring head 从 hidden representation 直接预测 1–5 的有序分布，相当于把原模型隐含的 judgment prior 从大词表里蒸馏出来。随后固定这个 head，用 human judgment 微调 backbone，使表征本身朝人类评分空间移动。

本质区别在于信息流被重组了：prior work 多是 prompt → LM head → score token probability；Rigel 变成 prompt/visual input → hidden representation → task-specific ordinal head。新的 inductive bias 是“caption quality 是一个有序小标签分布”，而不是“下一个 token 应该是哪个数字”。这使它理论上更稳定，也更容易用监督数据校准；scalability 来自它不需要每次依赖完整词表的生成式评分，而是一次 forward 得到连续分数。

Method

方法里真正必要的机制有三点。第一，scoring head self-distillation：它解决 LM head vocabulary-label mismatch，把模型已有 judgment signal 投影到 5 类评分空间；这里的核心变化是从开放词表预测转向封闭 ordinal prediction。第二，EMD objective：它解决普通分类损失忽略标签顺序的问题；对评分任务来说，错一档和错四档不应等价，因此 EMD 是合理的结构性 bias，但从消融看增益有限。第三，human-guided backbone adaptation：它解决自蒸馏只复制原模型偏好的问题；固定 head 后调 LoRA，等于强迫 backbone 学会产生能被该 head 正确解释的人类对齐表示。推理时用分布期望而非离散分数，保留了评价不确定性，也更适配相关性指标。

Key Insight / Why It Works

最可能有效的原因是 representation alignment，而不是 head 本身多强。MLLM 的 hidden state 已经包含大量视觉-文本一致性、对象/动作匹配和语言自然度信息；问题在于 LM head 是为 token generation 学的，不是为评价标签学的。Rigel 通过 scoring head 提供一个更干净的 readout，再用 human labels 调整 hidden state，使这些 latent judgment features 更线性、更有序地暴露出来。

真正的核心贡献是把 LLM-as-a-Judge 的“score token readout”问题形式化为输出空间错配，并用 self-distillation + supervised adaptation 做 readout realignment。Phase 1 是漂亮的机制设计，但从实验看它更像 initialization / regularization；Phase 2 才是主要性能来源。Vid-Lepus 和 Spica 的监督覆盖也很可能贡献了大量收益，因此不能把提升完全归因于“denoised head”。

这不是 retrieval，也不是 test-time compute；更接近 better inductive bias + representation alignment + supervised calibration。所谓“更会评价”可能部分只是学到了 benchmark 的人类评分分布。尤其视频场景中，新训练集 Vid-Lepus 覆盖了与评测相近的 caption error modes，核心能力可能主要来自数据覆盖。文中没有充分排除 scaling / data / backbone choice 的贡献。

Relation To Prior Work

Rigel 最接近 FLEUR、G-VEval、DISCODE 这类 LLM/MLLM-based caption evaluator，也与 Polos、DENEB、Pearl 等 supervised metric learning 路线相邻。与 FLEUR/G-VEval 的本质差异是：后者仍把 LLM 当生成器/打分器，用 score tokens 读数；Rigel 则把 judge 改造成一个有任务专用 head 的判别式 metric。与 Polos/Pearl 的差异是：Rigel 没有从头训练一个 embedding metric，而是复用 MLLM 的 hidden representation 和 judgment prior。

看似新的 self-distilled score adaptation，其实是知识蒸馏、ordinal regression、LoRA supervised calibration 的重组；实质创新在于把这些放到 LLM-as-a-Judge 的输出层错配问题上，并给出清晰诊断。它属于 LLM judge 从 prompt-level engineering 走向 model-internal adaptation 的技术谱系。

Dataset / Evaluation

Evaluation 覆盖了图像和视频、reference-based 和 reference-free、多种相关性/准确率 benchmark，范围比较完整，足以说明 Rigel 不是只在单一 image caption benchmark 上调参。Vid-Lepus 的价值在于补上 video caption metric 缺少 human-judgment training data 的缺口，这对 supervised evaluator 很关键。

但这些实验并不能完全验证“vocabulary-label mismatch 是主要瓶颈”。它们验证的是完整系统比 baseline 强，以及两个 phase 的组合有效；对增益来源的隔离仍不够。尤其 Phase 2 大幅提升，说明 human supervision 和数据覆盖可能是主因。所有实验都是 offline benchmark correlation，没有真实部署中的 pairwise human preference、跨数据源鲁棒性、长视频/复杂时序推理或 adversarial hallucination 压测。单次运行也削弱了对小幅差异的置信度。

Limitation

Rigel 成立依赖几个强前提。第一，冻结 MLLM 的 score-token 分布必须含有有用评价信号；否则 Phase 1 只是把错误偏好蒸馏到一个更自信的 head。第二，human labels 的覆盖必须足够广；否则 Phase 2 学到的是数据集校准而不是通用评价能力。第三，需要访问 hidden states，无法直接用 GPT-4o/Gemini 等闭源 judge，因此工程可用性受限。

泛化上限主要受 backbone 视觉理解、训练集 error mode 覆盖和 prompt rubric 限制。failure analysis 已经显示 reference-based 视频里模型会低估 lexical variants 和 alternative focus，说明它仍没有充分利用视觉证据，可能过度绑定 reference distribution。scene text 错误也容易漏判，说明细粒度视觉 grounding 不是这个方法自动解决的。增益归因不清：可能主要来自 supervised data + Qwen3-VL backbone + LoRA calibration，而不是 self-distillation 本身。

Takeaway

• 第一，LLM-as-a-Judge 的一个重要演化方向不是继续写 prompt，而是改造 readout：把开放词表生成转成任务对齐的判别式评分空间。
• 第二，caption evaluation 这类低维 ordinal judgment 任务天然适合 ordinal distribution modeling，EMD/expectation 这种结构性 bias 比普通 token probability 更合理。
• 第三，未来真正值得做的是 disentangle visual grounding、reference dependence 和 human preference calibration，而不是只追 benchmark correlation。
• 第四，Vid-Lepus 说明 video caption evaluator 的瓶颈很大程度在 supervised human judgment 数据；数据覆盖可能比 head 设计更决定最终性能。

一句话总结

Rigel 是 LLM-as-a-Judge caption evaluation 从 prompt/token-level scoring 向 model-internal ordinal readout adaptation 演化的一步，真正贡献是把 MLLM 的隐式判断能力重定向到人类对齐的小标签评分空间。