Awesome RL with Human Feedback / 2026 / OpenReview

Verification and Co-Alignment via Heterogeneous Consistency for Preference-Aligned LLM Annotations

作者：Cheng Chen, Haiyan Yin, Ivor Tsang · 单位：Centre for Frontier AI Research, Agency for Science, Technology and Research, Singapore, Australian Artificial Intelligence Institute, University of Technology Sydney, Australia, Nanyang Technological University (NTU), Singapore · 来源：OpenReview · 发布日期：2026

偏好学习对齐目标设计数据筛选

精读笔记

Problem Setting

《Verification and Co-Alignment via Heterogeneous Consistency for Preference-Aligned LLM Annotations》（Awesome RL with Human Feedback / 2026）处理的是一个很具体但现实的问题：给定少量用户偏好标注和大量未标注文本，如何生成 preference-aligned categorical NLU labels，并且在没有 reference label 的情况下判断 LLM 生成的 annotation 是否可信。

真正困难点不是 NLU 分类，而是 annotation verification。LLM 可以直接打标签，但它的输出反映的是预训练分布和 prompt induced behavior，不一定反映当前用户偏好；specialized encoder 可以利用少量 seed 做局部传播，但 embedding proximity 不等于 preference correctness。以前路线卡在两端：RLHF/SFT 要大量偏好数据，prompting/self-refine 缺少外部校验，clustering/label propagation 又容易把几何结构误当语义真值。

这篇的关键矛盾是：用户偏好数据稀缺，但大规模 annotation 又需要可靠扩散；没有 ground truth，却需要知道哪些 pseudo-label 可以信。HCC 的目标就是在这个矛盾中构造一个 reference-free 的“可靠性近似信号”。

Motivation

作者的动机不是再训练一个 personalized reward model，而是避开训练成本和 distribution mismatch。personalized RLHF 需要 pluralistic preference corpora，且新用户偏好偏离训练分布时 reward model 未必泛化；SFT 更直接但标注成本高；prompting/self-consistency/self-refine 在 categorical NLU 上没有外部 oracle，容易只是让 LLM 更自信地重复错误。

核心观察是：LLM 与 task-specific embedding model 的错误模式不同。LLM 的标签来自 token-level likelihood / instruction following，encoder 的标签来自 embedding neighborhood / seed propagation。两者一致时，并不保证正确，但统计上更可能落在“结构和语义都支持”的区域；两者不一致时，至少说明该样本处在模型判断边界或偏好传播不稳定区。

因此缺的不是又一个 annotator，而是一个 reference-free gate：在没有 gold label 时，先把样本分成可靠锚点和待修正区域，再只对后者做局部修正。这是论文最核心的出发点。

Core Idea

HCC 的核心思想可以概括为：用异质一致性做 verification，用一致样本做 memory anchor，再用 embedding-neighborhood 做 preference propagation。它把 annotation 问题从“让 LLM 一次性给出正确标签”改写成“让两个 inductive bias 不同的系统互相暴露不确定性”。

这个建模方式引入的 inductive bias 是：agreement between heterogeneous predictors is a proxy for reliability。LLM 提供语言知识和 label semantics，encoder 提供局部几何结构和少量用户 seed 的外推。HCC 不直接相信任一方，而是相信二者交集；再用交集去修正二者分歧区域。信息流因此从单向 annotation 变成了 verification → anchor construction → disagreement repair。

和 prior 的本质区别在于，它不是提高 LLM reasoning，也不是训练 reward model，而是做 annotation-time consistency filtering + nonparametric propagation。它更 scalable 的地方在于无需训练、可替换 LLM/encoder、可在大规模未标注数据上用 cheap embedding search 修正；但 generalizable 的前提是 embedding space 和用户偏好之间存在可传播的局部结构。

Method

关键机制只有三件事。

第一，CAI identification：用 LLM annotation 与 specialized model annotation 的一致/不一致划分样本。它解决的是 reference-free uncertainty estimation：没有 gold label 时，至少可以知道两个异质视角是否支持同一标签。CAI ratio = consistent / inconsistent，本质是 inter-model agreement odds。它的核心变化是把 evaluation 从“和真值比”换成“看异质模型是否稳定”。

第二，consistent samples as anchors：一致样本 C 被视为更高质量的 pseudo-labeled reference，再和用户偏好 seed H 合并。它解决的是 seed 太少导致覆盖不足的问题。这里的关键不是 C 一定正确，而是 C 的平均噪声率应低于 I；只要这个假设成立，C 就能作为扩展 memory 改善后续传播。

第三，DCCA + MV-VTES：对不一致样本 I，用 C ∪ H 的 top-k embedding neighbors majority vote 重赋标签；第一轮修正后，把变得一致的样本 CI 加入 reference set，再修正剩余更难的 II。这解决的是一口气传播时 anchor 不足的问题。两轮设计像弱 curriculum：先吸收容易修正的样本，再扩大 reference coverage。MV-VTES 本身是 kNN majority vote，机制上并不新，真正作用是承接 CAI 筛出的 anchor。

Key Insight / Why It Works

这篇最值得关注的 insight 是：在 low-resource preference annotation 中，verification 比 generation 更关键。LLM annotation 的主要风险不是不会生成 label，而是你不知道何时该信它。HCC 用异质一致性把这个不可观测问题变成可观测的 disagreement structure。

为什么有效？我的判断是主要来自三点，而不是来自“co-alignment”这个词本身。

第一，representation alignment。LLM 的 label semantics 和 encoder 的 local geometry 如果同时支持某个标签，这类样本天然更接近 class core；不一致样本往往在边界、低密度区、prompt-sensitive 区或 embedding 混淆区。把两者分开处理，本质是在做 confidence-aware pseudo-labeling。

第二，retrieval / memory reuse。HCC 后半部分主要是把高置信样本作为 memory，用 kNN label propagation 修复低置信样本。这非常接近 semi-supervised learning / self-training / graph label propagation。增益很可能来自更好的 reference set，而不是 LLM 本身变强。

第三，curriculum。DCCA 的两轮修正隐含了 easy-to-hard 的顺序：第一轮只依赖原始一致样本，第二轮加入第一轮稳定样本。这个策略能减少直接用 noisy inconsistent samples 扩散错误的风险。

最可能是核心贡献的是 CAI-based partition + anchor reuse；MV-VTES 是辅助，甚至可以被更强 retrieval、metric learning、graph propagation 替换。文中把 CAI 描述成 reference-free reliability metric，但它其实只是 agreement metric；agreement 与 correctness 的关系依赖强假设。论文给的 Proposition 基本是 pagree > pdis 下的一致样本数量收敛，不是 correctness guarantee。

需要警惕的是，部分提升可能主要来自 data coverage 和 stronger encoder，而不是 HCC 的独特机制。尤其在 open-source Llama-3-8B 上提升巨大，可能是因为 zero-shot Llama 很弱，而 specialized model + seed propagation 已经提供了大量结构信息。HCC 可能是在用 retrieval/label propagation 弥补 LLM，而非真正让 LLM 对齐。所谓 co-alignment 更像 annotation correction pipeline，不是模型内部 alignment。

Relation To Prior Work

最近的邻近路线包括：LLM-as-annotator、few-shot prompting/KATE、self-consistency/self-refine、semi-supervised label propagation、clustering-based intent discovery、personalized RLHF。

和 LLM-as-annotator 的差异是 HCC 不把 LLM 当最终 oracle，而是把它作为一个 noisy view；verification 是 first-class component。和 self-consistency 的差异是 self-consistency 在同一模型内部采样多个路径，容易共享偏差；HCC 用异质模型 disagreement，bias correlation 可能更低。和 clustering/ClusterLLM 的差异是 HCC 不直接相信 embedding clusters，而是只把 embedding structure 当作 propagation prior，并用 LLM agreement 过滤 anchor。

看似新的部分其实有不少是已有思想重组：CAI 类似 inter-rater agreement / co-training disagreement；MV-VTES 是 kNN label propagation；DCCA 类似 iterative self-training/curriculum pseudo-labeling。实质创新在于把这些放到 preference-aligned LLM annotation 的 reference-free setting 中，并明确提出 heterogeneous consistency 作为 uncertainty signal。

它属于 co-training / semi-supervised pseudo-label correction / retrieval-augmented annotation 的技术谱系，而不是 RLHF objective design 的核心路线。标签里有 Alignment Objective Design，但这篇并没有提出新的 RL objective；更准确说是 alignment data curation / annotation verification framework。

Dataset / Evaluation

实验覆盖八个主要 categorical NLU benchmark，包含 intent、topic、relation/type、scenario 等，另外 appendix 有不同 encoder、不同 k、不同 seed budget、imbalance、model selection 的扩展。任务覆盖面在 NLU annotation 场景里算充分，能支持“对 categorical NLU annotation 有普适收益”的 claim。

但这些 benchmark 本质仍是标准分类数据集，用 dataset ground truth 当作用户偏好标签。它验证的是“少量 seed + HCC 能否恢复 benchmark labels”，不完全验证“真实个人/文化偏好对齐”。用户偏好在实验中更像从训练集抽样出来的 labeled examples，而不是动态、冲突、主观、分布漂移的真实 preference。

CAI 与 accuracy 的相关性是重要证据，但不是决定性证据。部分失败例很说明问题：MTOP/MASSIVE-Intent 等细粒度或 multilingual/translationese 场景中，CAI 上升不一定带来 accuracy 上升。这说明 CAI 是 useful diagnostic，但不是 reliable correctness estimator。evaluation 也没有充分隔离增益来源：specialized model、group prompting、seed coverage、encoder backbone、DCCA 各自贡献仍有混杂。

Limitation

第一，核心前提强：一致样本必须更可靠。如果 LLM 和 encoder 共享系统性偏差，CAI 会把 shared bias 当作 high confidence。比如 label set 本身有歧义、用户偏好和公共语义冲突、或 embedding model 对 minority/cultural language 表示差时，agreement 可能只是共同误判。

第二，方法依赖 embedding separability。极细粒度 intent、slot-level 差异、多语言短句、开放标签、长文本偏好判断都会削弱 nearest-neighbor voting。论文也承认 MASSIVE-Intent 一类任务是 failure case。此时 HCC 不是修复偏好，而是在低质量几何空间里传播噪声。

第三，scalability 的上限在 reference memory 和 label space。closed-set categorical NLU 适合 kNN propagation；开放生成、pairwise preference、multi-turn planning、长期用户状态都不自然。将它扩展到 RLHF reward data 并不直接。

第四，增益归因不清。HCC w/o Corr 在若干任务上已经很强，HCC w/ Corr 有时下降，说明 correction 并不总是核心。强 encoder 本身、少量 seed 的覆盖、batch/group prompting 可能贡献很大。文中未充分说明如何在真实无 ground truth 部署中选择 encoder、k、停止轮数和 CAI 阈值。

第五，CAI 的理论上限明显。Proposition 只说明 agreement count 在 pagree > pdis 时会占优，没有证明 agreement 对 ground-truth accuracy 或 preference alignment 的一致估计。CAI 更像 empirical heuristic，不是 principled uncertainty estimator。

Takeaway

  • 1. 最可迁移的 insight：在低资源对齐数据构造中，先做 heterogeneous verification，再做 propagation，比直接让 LLM 生成标签更稳。
  • 尤其当 LLM overconfident 且没有 reference 时，agreement/disagreement structure 本身就是有价值的数据。
  • 2. HCC 的价值不在 kNN voting，而在把一致样本转成可复用 memory anchor。
  • 这一思想可以迁移到 synthetic data filtering、preference data curation、weak supervision、multi-annotator adjudication。

一句话总结

这篇论文把 preference-aligned LLM annotation 从“相信单个 LLM/encoder”推进到“用异质一致性做 reference-free verification，再用高置信锚点做非参数传播”的数据治理型 alignment 方法；实质贡献是 annotation-time consistency filtering，而不是新的 RLHF objective。