精读笔记
Problem Setting
《MORE: A Multilingual Document Parsing Benchmark and Evaluation》（arXiv preprint / 2026）实际解决的是 multilingual document parsing 的可测性问题，而不是提出一个新的 parser。当前矛盾是：模型侧已经声称支持 100+ 甚至 130+ 语言，但 benchmark 侧仍主要覆盖英语、中文或少数高资源语言，导致“多语言能力”缺少可证伪的 ground truth。真正难点不只是 OCR 字符识别，而是长尾脚本、真实 PDF 噪声、二维布局、阅读顺序、表格结构、目录/代码/公式等稀疏元素同时存在时，模型能力如何被拆开评估。以前方法卡在两个地方：一是语言覆盖不足，无法检验 tail-language claim；二是结构覆盖不足，容易把 document parsing 简化成 cropped text recognition。MORE 的问题设置本质上是在问：当模型宣称 universal document parsing 时，社区到底有没有一个足够宽、足够真实、足够结构化的坐标系来判断它是否真的成立。
Motivation
作者的核心动机是 evaluation lag behind model capability。VLM/OCR 模型已经通过大规模数据和统一接口获得了强泛化叙事，但已有 benchmark 仍不能验证这些叙事，尤其不能验证 Thai、Amharic、Punjabi、Georgian、Lao 等长尾脚本上的真实精度。这里缺的不是另一个更复杂的 metric，而是一个覆盖足够多语言和结构类型的 reference set。作者观察到：如果 benchmark 只看高资源语言和普通段落文本，模型可以通过 data coverage 或通用 OCR 能力拿到很高分，但这不能说明其具备跨脚本 document understanding。更关键的是，真实文档中的复杂结构天然稀疏，不能像机器翻译 benchmark 那样强行构造均匀的 1D 对齐语料；因此 benchmark 需要保留真实分布，同时又通过分层采样避免 web 数据的头部语言垄断。
Core Idea
MORE 的核心思想不是引入新的解析模型，而是改变评测的信息组织方式：把 multilingual document parsing 拆成语言、脚本、元素类型、布局依赖程度几个相对正交的维度，使模型失败不再被 overall OCR score 吞掉。这个设计的直觉是合理的：当前 parser 的能力往往是非均匀的，可能会读 Latin text，但不会处理 Punjabi table；可能会识别 cropped formula，但在 full-page layout matching 中崩掉。只有把任务拆开，并在长尾语言上做横向比较，才能看到真实能力边界。和 prior benchmark 的本质区别在于，它不是继续在少数语言上增加 annotation depth，而是把测试边界沿语言维度大幅外推，同时补上 code、catalog、reading order 等更贴近真实解析管线的元素。它引入的是一种 benchmark-level inductive bias：评测不应默认 document parsing 是单一能力，而应默认它是多种能力的组合，并且这些能力在不同脚本和结构上会非同步退化。
Method
方法上最重要的不是具体模型或 prompt，而是 benchmark 构造逻辑。第一，真实 PDF 大池 + 语言分类 + 分层采样解决 web corpus 的语言长尾偏置问题；这一步让 benchmark 不再只是高资源语言的再采样。第二，排除中英和 unlabeled 数据是一个强设计选择，目的不是构造自然 web 分布，而是有意放大低资源语言评测信号。第三，模型辅助、人类修订标注解决 149 语言人工标注成本不可承受的问题；代价是标注可能继承候选模型偏置。第四，page-wise structure annotation 和 element-wise content annotation 分离，使内容识别可以在 human-verified crop 上被评估，从而隔离字符/结构能力。第五，decoupled scoring 将文本、公式、表格、代码、目录、阅读顺序平均，避免段落文本数量压倒稀疏结构。第六，layout-dependent evaluation 再把布局检测放回系统，验证真实端到端性能。这一组合的核心变化是：先解耦诊断能力，再用端到端设置检查解耦结论是否仍然成立。
Key Insight / Why It Works
这篇论文最有价值的 insight 是：多语言 document parsing 的主要瓶颈已经从“能不能读字”转移到“能不能在长尾脚本和复杂二维结构中稳定组织信息”。MORE 能 work，主要靠 data coverage 和 evaluation decomposition，而不是算法创新。它有效的原因是 benchmark 迫使模型在多个不容易互相补偿的维度上暴露短板：Latin text 高分无法掩盖 Sanskrit-family 低分，cropped text 高分无法掩盖 table TEDS 崩溃，decoupled score 高分也无法掩盖 layout-dependent setting 的下降。最核心贡献是 benchmark design，而非标注 pipeline 本身；model-assisted annotation 更像必要 engineering，用来把规模做起来。结构元素覆盖中的 code/catalog 是有价值的，但样本非常少，部分结论可能主要是 sanity check 而不是稳定统计发现。所谓模型的 multilingual generalization 很可能在相当程度上来自训练数据覆盖，而不是抽象脚本理解；文中没有能力区分 memorization/data exposure 与真正 compositional generalization。HunyuanOCR 的领先也不能简单解释为方法优越，可能主要来自数据、domain-specific tuning、pipeline maturity 或与标注候选分布更接近；增益来源不清。
Relation To Prior Work
MORE 最接近的是 OmniDocBench、MDPBench、XDocParse、ICDAR MLT/CC-OCR 这条 benchmark 谱系，而不是 document parser 模型论文。相对 OmniDocBench，它牺牲部分语言内 annotation density，换取大规模语言覆盖；相对 MLT/CC-OCR，它从 text detection/recognition 扩展到完整 document parsing；相对 XDocParse，它的新增信息主要是更宽语言覆盖、开源 benchmark 叙事以及 code/catalog/reading order 等结构维度。看似新的部分中，模型辅助标注、人类 refinement、NED/TEDS/CDM 这些都不是新思想，属于已有 benchmark 工程的重组。实质创新在于把 hyper-multilingual claim 变成可量化诊断问题，并展示不同模型在脚本族、结构类型、layout-dependent setting 下的能力分裂。它属于 evaluation-driven scaling pressure 的路线：不是提出新模型，而是通过 benchmark 改变研究社区优化目标。
Dataset / Evaluation
数据集覆盖 149 种语言、真实 PDF 来源、六类任务元素，并提供 decoupled 与 layout-dependent 两种评测视角，这确实支撑了“当前多语言 parsing 评测不足”这个核心 claim。它也有效验证了一个重要判断：高资源文本识别分数不能代表真实 document parsing 能力，复杂表格和端到端布局约束仍然显著拉低模型表现。但 evaluation 的支撑范围需要谨慎理解。每种语言页面数很少，很多语言只有极少段落或没有结构元素，公式、表格、代码、目录在长尾语言中尤其稀疏，因此它更适合作为 capability probe，而不是稳定的语言级 leaderboard。真实世界来源是优点，但只抽单页会削弱对 multi-page document state、跨页阅读顺序、目录-正文链接、长文档一致性的评估。benchmark 能验证“现有模型在 MORE 上的表现差异”，但尚不能充分验证“某模型真正支持某语言”或“某模型具备可部署级多语言解析能力”。
Limitation
最大限制是统计覆盖与结论强度不匹配：149 语言带来了广度，但每种语言样本量和结构元素数量不足以支撑细粒度 winner-takes-all 判断。很多 0 分或 100 分可能来自极小样本，而不是稳健能力差异。第二，标注 pipeline 依赖多个强模型生成候选，再由人工 refinement；这在工程上合理，但会引入隐性先验，尤其可能偏向参与预标注的模型输出格式和错误模式。第三，作者未充分说明 annotator 是否覆盖所有语言、如何处理低资源脚本歧义、是否有双人标注或 inter-annotator agreement。第四，HunyuanOCR 是作者公司模型且表现最好，虽然披露了利益冲突，但仍需要外部复现来确认 benchmark 与模型之间没有 pipeline-level advantage。第五，decoupled overall score 是诊断友好的，但它人为等权六类任务，和真实 deployment 中的元素分布不一定一致。第六，layout-dependent evaluation 显示端到端性能大幅下降，说明前面 cropped/verified-layout 的高分部分可能高估了真实系统能力。核心能力可能主要来自数据覆盖和 parser 工程成熟度，而不是模型形成了更抽象的 multilingual document reasoning。
Takeaway
- 第一，未来多语言文档解析的评测应从 language count 转向 language × structure × layout 的组合覆盖；只报支持多少语言基本没有信息量。
- 第二，结构解析会成为比普通 OCR 更硬的瓶颈，尤其是 table、reading order、catalog 与 full-page matching；这类能力不能靠纯文本 OCR scaling 自动解决。
- 第三，benchmark 设计需要同时保留 decoupled diagnostics 和 end-to-end realism，否则要么无法归因，要么无法反映部署难度。
- 第四，MORE 真正推动的是评测范式，而不是模型机制：它把社区注意力从“谁的 OCR 平均分更高”推向“模型在哪些脚本和结构条件下系统性失效”。
一句话总结
MORE 是一篇 evaluation-first 的多语言文档解析基准论文，它的真正贡献是用真实 PDF、149 语言和结构化任务把“百语种文档解析”从不可证伪的模型宣传变成可诊断的能力矩阵。