精读笔记
Problem Setting
[DEMUN: Fast and accurate discovery of music notation in very large collections]（arXiv preprint / 2026）
这篇论文实际处理的是“在超大数字馆藏中发现未被元数据标记的音乐页面”，而不是 OMR，也不是一般 document image classification。输入分布极端不平衡：真正含音乐符号的页面可能低于千分之一，因而系统目标不是平均分类准确率，而是把 false positive rate 压到人工复核和馆藏服务可承受的量级。
真正困难点有两个叠加：第一，低基率使得普通视觉分类指标失效，99% precision 在千万级页面上仍然不可用；第二，图书馆生产环境受 CPU、本地存储、ImageServer、Solr、网络出口和远端 GPU 的共同约束。以前方法卡在它们默认“已有候选文档”或“离线 benchmark 分类”，没有把稀疏发现、网络传输和人工复核作为同一个系统优化问题。
关键矛盾是：足够准确的模型通常需要更高计算和远端 GPU，但全量传输和全量推理不可行；足够便宜的模型可以全量跑，却不能直接给最终用户结果。因此任务的本质是成本分层下的错误预算分配。
Motivation
已有路线不够的原因很直接：OMR 社区默认文档已经被找到，数字图书馆分类工作多关注通用页面类型或检索浏览，视觉 foundation/CLIP/ViT 类路线虽然可能更通用，但在这里会被吞吐、传输和 FPR 约束卡死。
作者的关键观察是，音乐符号发现从视觉识别角度并不难，甚至是低垂果实；难的是在整个馆藏尺度上把“少量真实音乐页面”从“几千万非音乐页面”中提纯到可以人工处理。换言之，缺口不是一个更强的识别器，而是一个生产级 candidate generation + verification pipeline。
这也是为什么论文采用 mining metaphor：它把馆藏看成低品位矿石，系统目标不是一次性分类正确，而是逐级提高正例浓度。这个动机比模型选择更重要。
Core Idea
核心思想是 cascade concentration：第一阶段在馆内本地用轻量模型扫描全量页面，把极低基率分布转换成候选分布；第二阶段在远端 GPU 上用更强分类器对候选分布进行低 FPR 过滤和类型判断。它改变的不是视觉表征范式，而是推理资源与错误代价的组织方式。
直觉上它有效，是因为在这个任务里 false negatives 的边际代价低于 false positives：漏掉一部分未知音乐页面仍优于完全无法发现；但 false positives 会线性放大成人工噪声和系统不可用。因此 pre-filter 可以接受一定召回损失，只要大幅降低传输和后续推理负担；main stage 则必须在候选分布上优化低 FPR。
和 prior 的本质区别不在 EfficientNet/YOLO，而在把 document classification 从“单模型离线分类”改造成“稀疏发现系统”。它引入的 inductive bias 是成本感知与基率感知：模型不是独立追求 accuracy，而是在 pipeline 中承担不同错误角色。
Method
方法里真正必要的机制只有三点。
第一，本地 pre-filter 解决全量扫描不可避免但资源有限的问题。它不需要最终可用的 precision，只需要把候选浓度提高到让网络传输和远端处理可行的程度。核心变化是把所有页面的高成本远端判断，转为少量候选的高成本判断。
第二，main stage 解决最终输出的 false positive budget。这里使用二分类加类型分类，或单步四分类；论文最终推荐单步方案，因为它在保持类型判断的同时略好地控制 FPR/FNR。重要的不是 YOLO11 分类头，而是第二阶段在已浓缩分布上承担“准入门槛”的角色。
第三，数据 bootstrapping 解决没有现成大规模音乐发现数据的问题。先用小的 proprietary seed data 训练初始过滤器，再从真实馆藏中采样高置信候选并人工标注，从而获得贴近部署分布的 positives 和 hard negatives。这个机制可能比模型本身更关键，因为它把训练数据从抽象 benchmark 拉回真实馆藏噪声。
Key Insight / Why It Works
最核心的 insight 是：在极低基率发现任务中，系统可用性由 FPR × collection size 决定，而不是由常规 accuracy 或 macro-F1 决定。DEMUN 的有效性主要来自把输入分布改写了：pre-filter 不是为了给用户结果，而是为了重塑后验分布，让第二阶段面对一个更高正例浓度、更可控的数据流。
这本质上更接近 retrieval / candidate generation than classification。第一阶段相当于 recall-oriented retriever，第二阶段相当于 precision-oriented reranker。所谓“发现音乐符号”的能力，很大程度来自这个检索式 cascade，以及真实馆藏上 bootstrap 出来的 hard negative 数据。
最可能的核心贡献是 production-aware formulation：把 sparse discovery 的指标、成本和部署限制一起建模。模型选择本身很普通，甚至可以替换；增益来源很可能主要来自 scaling / data / pipeline，而不是 architecture。文中没有显示 EfficientNet 或 YOLO11 相比其他轻量 CNN/ConvNeXt/MobileNet 的不可替代性，模型增益归因不清。
另一个关键点是错误代价非对称。论文明确把 FNR 放到次要位置，这在检索发现任务中是合理的，但也意味着系统优化目标不是完整召回馆藏音乐，而是产出一个高精度的新材料集合。这个定位诚实，但会限制它作为“全面音乐文档发现器”的 claim。
需要警惕的是 evaluation 对 pre-filter 的 FNR 只能估计随机不稳定部分，无法衡量所有模型都会漏掉的系统性模式。也就是说，系统可能非常擅长发现 seed distribution 附近的音乐页面，却对低质量片段、罕见符号、非典型排版或非西方记谱漏检；这类能力文中未充分说明。
Relation To Prior Work
最接近的路线包括 document image classification、digital library visual navigation、music/non-music page classification、layout analysis/object detection for staff regions，以及 OMR 前处理。但 DEMUN 和它们的区别在于目标函数：不是提高通用分类性能，不是识别已知音乐文档内容，也不是定位 staff，而是在真实馆藏中以极低 FPR 做 discovery。
看似新的部分并不是两阶段模型；cascade、candidate generation、reranking、hard negative mining 都是成熟思想。真正新增的信息是把这些思想放进数字图书馆音乐发现这个被 OMR 忽略的入口问题，并给出生产环境下的数量级约束：网络、存储、GPU 可用性、人工质检阈值共同决定系统形态。
它属于“domain-specific large-scale visual retrieval pipeline”谱系，而不是 OMR 算法谱系。和 CLIP/ViT 类通用视觉检索相比，DEMUN 牺牲可能的开放域泛化，换取低成本、高吞吐和更低 FPR；和 layout/object detection 相比，它避免了对局部结构定位的过度计算，因为任务只需要页面级发现。
Dataset / Evaluation
数据和评估最有价值的地方是贴近真实部署：候选来自 Moravian Library 的实际大规模扫描，而不是整理好的 benchmark；人工标注的是 pre-filter 输出，因此包含大量真实 hard negatives；吞吐和网络瓶颈也按生产条件讨论。这确实支持论文最重要的 claim：该系统在一个国家级馆藏的部署约束下可运行，并能产出人工可处理的候选集。
但 evaluation 也有明显边界。第一，主阶段的 FPR/FNR 可以在标注数据上测，但 pre-filter 的真实 FNR 无法直接测，因为未通过过滤的数百万页面没有全量标注。文中用不同随机种子估计的 1–2% 只能说明模型不稳定性，不说明系统性漏检。
第二，数据高度依赖 Moravian Library 的馆藏结构、扫描风格、元数据划分和 seed dataset。跨图书馆、跨语言、跨记谱传统、跨扫描质量的泛化没有被验证。第三，正例发现过程由初始 pre-filter 决定，训练集天然偏向它能找到的音乐页面；这会低估系统盲区。
因此 benchmark 支持“在该馆藏当前生产场景可用”，但不足以支持“通用音乐 notation discovery”这一更强 claim。
Limitation
最深层限制是系统性漏检不可见。由于真实负空间太大，作者无法知道 pre-filter 漏掉了哪些类型的音乐页面；重新 fine-tune 并在已发现 positives 上评估，只能测随机性，不能测 blind spot。若 seed data 没覆盖某类符号、破损片段、非典型版式或低对比扫描，整个 cascade 会把它们永久挡在第二阶段之外。
第二，核心能力可能主要来自数据覆盖。模型是 off-the-shelf，训练策略也常规；真正的性能来自真实候选标注和馆藏分布适配。换馆藏后很可能需要重新 bootstrap，泛化不是免费的。
第三，方法把一部分问题从模型转移到人工标注和生产流程。10 万候选人工标注在该项目可行，但对其他机构未必可行；而且 licensing、server rate limit、图像导出质量都会影响系统形态。
第四，类型分类的实际价值没有被端到端验证。论文说不同 notation type 可路由到不同 OMR 模型，但没有展示这一步对后续 OMR 或检索质量的收益，因此这部分更像系统预留接口，不是已证明贡献。
第五，FNR 被设为次要目标是合理工程判断，但会影响历史研究用途。如果研究问题需要尽可能完整地估计某类音乐材料的存在量，而不是发现一批新材料，DEMUN 的输出会有选择偏差。
Takeaway
- 1. 对极低基率文化遗产发现任务，核心不是更大模型，而是把 FPR budget、人工复核 budget、网络/计算 budget 显式纳入 pipeline 设计。
- 2. Cascade 的价值在于改变数据分布：cheap recall stage + expensive precision stage 是比单模型 accuracy 更稳健的系统抽象，可迁移到地图符号、插图、手稿片段、表格、印章等稀疏视觉对象发现。
- 3. 真实部署数据比通用预训练特征更关键。
- hard negatives 必须来自目标馆藏，否则低 FPR claim 很可能不成立。
一句话总结
DEMUN 的贡献不是提出新的音乐视觉模型，而是把音乐符号发现从 OMR 前置假设中解放出来，重构为一个面向极低基率、低 FPR 和生产吞吐约束的两阶段馆藏级视觉检索系统。