精读笔记

Problem Setting

论文处理的是 cascaded object detection pipeline 下的主动学习：TD 先决定表格区域，TSR 再识别内部结构，标注一个文档同时给两个阶段提供监督。真正困难点不是表格抽取本身，而是有限标注预算在两个耦合阶段之间的分配问题。TD 失败会不可逆地截断 TSR，TSR 难度又通常远高于 TD 标注粒度；因此同一个样本对 TD 和 TSR 的价值可能相反。以前的 AL 方法卡在单模型假设：它们默认一个表示空间、一个不确定性信号、一个模型误差面，而级联系统里 acquisition 的关键矛盾是“覆盖全局分布”与“投向当前瓶颈阶段”之间的冲突。

Motivation

已有 coverage-based AL 在低预算阶段稳，但可能采到对当前失败阶段无关的多样性；uncertainty-based AL 在模型已有一定能力后更有效，但在级联检测中不确定性本身受上游失败污染。UHerding 解决了单模型里 coverage/uncertainty 的预算 regime 切换，但没有回答多阶段 pipeline 中哪个 stage 应该被优先改善。作者真正抓住的缺口是：cascaded pipeline 的 AL 不应只问“哪个样本最 informative”，而应问“这个样本的信息对哪个阶段 informative，以及该阶段现在是否限制端到端性能”。这使得问题从 acquisition scoring 变成了 bottleneck-aware sample routing。

Core Idea

论文的核心思想是把 UHerding 从单 manifold、单 uncertainty 的采样策略，改造成一个显式感知 pipeline dependency 的采样策略。RankFusion 先承认文档布局覆盖和表格结构覆盖不是同一件事：全页 DiT embedding 更像 domain/layout coverage，TSR feature embedding 更接近 structural coverage；用 reciprocal rank fusion 合并两种覆盖，避免强行假设两个空间可度量地相加。

CAPA 进一步引入一个更强的 inductive bias：下游 TSR 的采样价值应受上游 TD 可靠性调制。它用阶段 AP 估计全局瓶颈，用 TD confidence gate 抑制在检测不可靠样本上的 TSR uncertainty，用分阶段 calibration 防止某个阶段的不确定性噪声主导采样。和 prior 的本质区别不在公式复杂度，而在于它把 AL 的“样本价值”从静态属性改成了依赖当前 pipeline 状态的动态边际收益估计。

Method

关键机制可以压缩成四个。

第一，UHerding adaptation：保留 coverage × uncertainty 的基本形式，用文档图像 encoder 估计 pool coverage，用 TD 与 TSR confidence 构造文档级不确定性。它解决的是单纯 coverage 或 uncertainty 在不同预算 regime 下不稳定的问题，但仍然 pipeline-agnostic。

第二，robust bandwidth 与 rank-correlation calibration：用距离分位数替代最小距离，避免 near-duplicate 让 kernel 过早塌缩；用 uncertainty-error Spearman correlation 替代分类 ECE。它们更多是在让 UHerding 能跑在检测任务上，属于必要工程稳定化，而不是概念核心。

第三，RankFusion：分别在文档级布局空间和 TSR 结构空间计算 coverage gain，再用 rank fusion 合并。它解决的是单一 embedding 无法同时表达页面分布与结构分布的问题，核心变化是把“代表性”拆成两个互补 manifold。

第四，CAPA：用 β 权重表达当前 TD/TSR bottleneck，用 TD gate 调制 TSR uncertainty，用 per-stage τ 分别校准不确定性。它解决的是下游收益受上游成功率约束的问题，核心变化是把 acquisition 从对称双任务采样变成级联依赖下的边际收益分配。

Key Insight / Why It Works

这篇最有价值的 insight 是：在 cascaded detection pipeline 中，AL 的主要失败模式不是 acquisition function 不够强，而是 acquisition function 对错了 stage。单模型 AL 默认“高不确定性区域值得标注”，但在级联系统里，如果 TD 还没学会稳定找到表格，那么 TSR 的高不确定性可能只是上游错误的副产物；反过来，当 TD 已经可靠，继续覆盖全页布局可能不如覆盖结构 manifold 有价值。CAPA 的 gate 和 β 本质上是在估计每个阶段的边际可学习性，而不是单纯估计样本难度。

我认为真正核心贡献是 dual-manifold coverage 加 bottleneck-aware routing。前者提供 latent structure alignment：让采样覆盖到 TD 与 TSR 各自看到的分布；后者提供 curriculum：先修上游瓶颈，再把预算转向下游结构复杂性。Spearman calibration 和 RRF 是合理的 glue，但不是决定性思想。

增益很可能主要来自 data coverage 与 representation alignment，而不是某种深层 pipeline reasoning。CAPA 并没有建模长期状态，也没有显式预测“标注该样本后端到端 F1 会提升多少”；它只是用 AP 和 confidence 构造了一个启发式 bottleneck proxy。这个 proxy 在单表、规则结构、检测式 TSR 中有效，但不应被过度解释为通用 pipeline optimization。

值得注意的是，结果也暴露了方法上限：invoice-int 是 TD bottleneck 时，CAPA/RankFusion 反而不如 adapted UHerding，说明 dual-manifold coverage 会稀释纯 TD 修复信号。也就是说，pipeline-aware 并不自动更好；如果瓶颈非常偏向上游，引入下游 manifold 可能是在采样目标里加入噪声。

Relation To Prior Work

这篇属于 active learning for detection/document AI 的延伸，但更准确地说，它是把 UHerding/MaxHerding 这条 coverage-unccertainty 谱系移植到 multi-stage pipeline。和 CoreSet、ProbCover、MaxHerding 相比，它不是只改 coverage 度量，而是让 coverage 分阶段、分空间发生；和 BADGE 这类 gradient-based hybrid AL 相比，它避免依赖单模型梯度，因此更容易扩展到多模型 pipeline。

和 UHerding 的本质差异是建模对象改变：UHerding 认为 uncertainty 只是 coverage gain 的权重，CAPA 认为 uncertainty 还必须被 pipeline reliability 调制。和 Roth & Small 的 pipeline AL 最接近的地方是 β-weighting：早期优先上游，后期转向下游。但本文把这个思想落到现代检测式表格抽取里，并结合 embedding coverage，这部分是实质新增。

看似新的地方中，RRF、confidence uncertainty、coverage herding 都是已有思想重组；真正有新意的是把“两个 embedding manifold + stage-dependent acquisition routing”作为一个统一采样机制，用来解释不同数据集瓶颈下策略偏好的变化。

Dataset / Evaluation

评估覆盖两个公开数据集和两个私有业务数据集，至少能检验 academic/financial/business/invoice 等不同版式域。十个 seed、共享初始集、从头重训、用 median learning curve AUC 和 Schulze ranking 汇总，整体比常见 AL evaluation 更可信。它确实支持一个核心 claim：pipeline-aware 方法在跨数据集上更稳，且瓶颈类型能解释策略差异。

但 evaluation 也有明显边界。所有实验限制在单表、无 spanning cell，且 TSR 训练使用 ground-truth crops；这比真实 deployment 中的 multi-table、OCR 噪声、复杂合并单元格要干净得多。公开数据只覆盖 PubTables-1M 和 FinTabNet，两个私有集不可复现，因此“真实业务鲁棒性”的证据只能部分接受。文中也没有充分拆解 CAPA 各机制的独立贡献，所以 benchmark 支持整体方法有效，但不完全支持每个设计选择都是必要的。

Limitation

方法成立依赖几个强前提。第一，TD/TSR 的 stage AP 必须能代表端到端瓶颈，但 AP 与 GriTS-Con F1 的关系并不一定稳定，尤其在复杂结构或 OCR 错误下。第二，per-document confidence aggregation 必须和真实 annotation value 相关；检测任务里的 confidence 往往校准差，且 missed detection 会让下游 uncertainty 失真。第三，TSR embedding 必须捕捉结构 manifold，而不是只捕捉当前模型的偏置；由于 g′ 来自训练中的 TSR 模型，早期 representation 可能不可靠。

scalability 上限也很明确：每轮要重训 TD 和 TSR，并对 pool 做双空间 scoring，完整实验成本很高；这在工业 AL loop 中可能不可接受。方法把一部分问题从“如何标注更少”转移成“如何维护可靠 validation、stage AP、embedding 和 calibration”。

泛化 claim 需要谨慎。论文说框架可用于 multi-table 和 spanning-cell，但这是形式上可运行，不等于 acquisition signal 仍然有效。多表页面会稀释文档级 TSR uncertainty，spanning cell 会破坏 regular-grid 假设，CAPA 的 gate 和 τ 可能变成弱 proxy。增益来源不清：可能主要来自引入 TSR manifold 的数据覆盖，而不是 pipeline-aware calibration 本身。

Takeaway

• 最值得记住的不是 CAPA 这个具体公式，而是“主动学习要对齐 pipeline 的失败位置”。
• 在级联系统里，样本价值不是全局属性，而是相对于当前 bottleneck 的边际属性。
• 第二个可迁移 insight 是 dual-manifold coverage：当不同阶段看到不同输入粒度或不同 latent structure 时，用单一 embedding 做 coverage 很可能系统性偏置。
• 这个思想可以迁移到 OCR→IE、detector→tracker、retriever→reader、layout→VLM 等多阶段系统。

一句话总结

这篇论文把 UHerding 从单模型主动学习推进到级联检测管线，真正贡献是用双表示空间覆盖和瓶颈感知预算路由来重新定义 cascaded table extraction 中的样本价值。