精读笔记
Problem Setting
[DataComp-VLM: Improved Open Datasets for Vision-Language Models]（arXiv preprint / 2026）
这篇论文实际处理的是 VLM 预训练数据策展的归因问题：在现代 autoregressive VLM 中，性能提升到底来自更干净的样本、更合适的数据类型比例，还是更大的训练规模。困难点不在于构造又一个数据集，而在于 VLM 数据已经是高度异质的二次聚合物：web caption、interleaved docs、text-only instruction、multimodal instruction 都同时存在，并且很多源数据已经被上游过滤、重写或合成。
以前方法卡在两个地方：一是技术报告通常只报告最终 mixture，不提供可复现的 ablation；二是 DataComp-CLIP / DCLM 式 filtering 成功经验默认面对 raw noisy corpus，而现代 VLM 训练池并不一定处在这个噪声 regime。关键矛盾是：sample-level quality score 看起来可解释、可扩展，但 VLM 下游能力可能主要由 data-type coverage 和 supervision format 决定。
Motivation
已有路线不够，是因为它们把数据当作配方，而不是实验变量。VLM 社区大量工作在架构、分辨率、connector、SFT、benchmark 上做文章，但最影响结果的数据源和比例通常不可复现。作者抓住的缺口是：需要一个像 DataComp / DCLM 那样固定训练系统、只改变数据的 benchmark，但对象换成现代 autoregressive VLM，而不是 CLIP 或纯 LM。
更深的动机是对 filtering 直觉的怀疑。对于 raw CommonCrawl 或 raw alt-text，过滤确实能去掉大量低质样本；但如果训练池来自 FineVision、LLaVA、DataComp、ReLAION、各种 OCR/Chart/Math instruction 数据的聚合，很多低质部分已经被原作者处理过。此时继续堆 CLIP-score、text classifier 或 perplexity filter，很可能只是在改变不同数据源的比例，而不是提升样本质量。
Core Idea
核心思想是：VLM 数据策展应该被看成随 scale 变化的数据类型混合问题，而不是静态的样本筛选问题。论文的真正贡献不是提出新模型，而是搭建一个受控实验环境，系统比较 filtering 与 mixing 在不同模型规模和 token budget 下的相对作用。
它引入的 inductive bias 是 mixture-level supervision bias：不同数据类型对应不同训练信号。caption 主要提供开放视觉覆盖和图文对齐；instruction 数据直接对齐模型的输入输出接口和多任务 benchmark 形式；text-only 保持语言能力；interleaved documents 提供长上下文和多图结构。论文发现，随着 compute 增加，instruction-heavy 数据的 scaling slope 更好，这意味着“大模型能更有效吸收任务化、多能力、多格式监督”，而小模型更依赖 caption-style 对齐信号。与 prior 的本质区别是，它不把“质量”抽象成单样本分数，而把“数据用途”放到 mixture 和 scale 的交互里考察。
Method
方法上只需要记住几件机制性设计。
第一，DCVLM 固定架构和训练 recipe，只允许数据策略变化。这是在解决 VLM 技术报告里架构、训练、数据三者纠缠的问题；核心变化是把数据策展变成可比较实验，而不是经验配方。
第二，构造 160 个公开数据源的异质 pool，并按四类数据组织。这不是为了“大而全”本身，而是为了模拟真实 VLM practitioner 的数据选择空间：不是从 raw web 开始，而是在已有数据资产之间做过滤、混合和采样。
第三，设计 local vs global filtering。local filtering 保持各 source 比例，测试过滤器是否真的提升样本质量；global filtering 会改变 source / type 分布，暴露许多 filtering gain 实际可能来自隐式 mixture shift。这个设计非常关键，因为它拆开了过去 filtering 论文中经常混在一起的两个效应。
第四，用多尺度 ladder 检验 mixture 排名是否稳定。这个设计直接针对 small-scale proxy 的风险：如果小模型选出 caption-heavy，而大模型实际偏好 instruction-heavy，那么只在便宜设置上调数据会系统性选错。
Key Insight / Why It Works
最重要 insight 是：在现代公开 VLM 数据池上，额外 filtering 不是主导变量，data mixture 才是。原因并不神秘：这些 pool 的噪声分布已经被上游策展改变了，传统 filter 能去掉的低质质量空间被压缩，剩下的主要差异是数据类型、任务覆盖、格式监督和能力分布。换句话说，quality filtering 进入 diminishing returns regime，而 mixture 仍然改变模型实际看到的监督结构。
Instruction-heavy mixture 起作用，最可能不是因为它神奇地产生了更强视觉表示，而是因为它更直接地匹配 autoregressive VLM 的使用形态：输入图像+问题，输出结构化答案。它提供的是接口对齐、任务先验、多能力覆盖和 benchmark-like supervision。这里的“泛化”很大程度可能是 data coverage + representation alignment + format conditioning，而不是纯粹 emergent reasoning。
论文中最有价值的机制判断是 scale interaction：instruction-heavy 在小规模可能差，但在更大模型和更多 token 下斜率更高。这说明 instruction data 可能是高复杂度、高密度 supervision，小模型吸收不了或过早过拟合，大模型才把它转化为能力。这个 insight 可以迁移到其他 foundation model 数据策展：数据类型的最优比例不是常数，而是 scale-dependent。
哪些可能只是 engineering / scaling？DCVLM-Baseline 的 SOTA 开放数据结果很大程度来自更大的、更系统的 pool 和更合适比例；它不是新训练算法。模型仍用 InternVL-like recipe，增益可能主要来自数据覆盖和 scale-aware mixing。文中未充分说明 instruction-heavy 内部不同能力类别的因果贡献，因此“70% instruction”更像经验发现，而不是机制上可解释的最优解。
Relation To Prior Work
它最接近 DataComp、DataPerf、DCLM、FineWeb 这条 data-centric benchmark 谱系，而不是 VLM architecture 论文。真正不同点在于对象从单一模态/单一数据类型的数据过滤，转向现代 VLM 的多数据类型聚合和 scale-aware mixture。它把 DataComp 的控制实验范式迁移到 autoregressive VLM，但结论几乎反过来：不是过滤主导，而是 mixture 主导。
和 FineVision、Cauldron、LLaVA-OneVision、Nemotron-VL 这类开放数据集相比，DCVLM 的新增信息不是“收集更多数据”，而是解释为什么某些数据组合更有效，并提供可复现实验 ladder。FineVision 更像数据资产，DCVLM 更像数据研究平台。
看似新的地方中，很多是已有思想重组：固定模型比较数据来自 DataComp/DCLM；instruction data 进 pretraining 已在 InternVL/FineVision 等系统里出现；text-only 保语言能力也不是新概念。实质创新在于把这些经验放进受控、多尺度实验里，并明确指出 global filtering 的收益可能只是隐式 mixture shift。这一点对解释过去很多“filter 有效”的结论很有价值。
Dataset / Evaluation
数据覆盖范围很强：四类数据、160 个公开源、6T multimodal tokens，覆盖 caption、OCR、chart、math、science、general QA、multilingual、text-only 等能力。它基本反映了当前开放 VLM 训练数据的真实形态：不是干净单源 corpus，而是高度拼接的异质集合。
评测设计相对严肃：从候选 benchmark 中按稳定性和单调性筛选，分 validation/core/extended，并做图像和文本去污染。这确实支持论文的主要 claim：在固定 recipe 下，不同数据策略会导致稳定差异，并且这些差异随 scale 改变。
但 evaluation 仍有明显边界。首先，core suite 主要是 academic offline benchmark，很多任务与 instruction-tuning 数据的形式高度相似，因此 instruction-heavy 的优势可能部分来自评测分布匹配。其次，Safety、Hallucination、Reasoning 被放到 extended，说明主结论更偏向通用 benchmark 平均分，而不是复杂 agentic 或真实部署能力。第三，去污染降低了直接 overlap，但不能排除语义近邻、模板相似、合成数据共享生成器导致的隐式记忆。
Limitation
核心前提是 pool 已经被上游策展。如果研究对象换成 raw web-scale 图文数据，filtering 很可能重新变成主导变量。因此“filtering rarely helps”不应被泛化成所有 VLM 数据构建场景；它更准确地说是：对已聚合、已过滤的公开 VLM 数据池，额外下游过滤边际收益低。
第二，instruction-heavy 的增益归因不清。它可能来自更好的任务覆盖、benchmark-like 格式、答案分布先验、语言侧 instruction tuning，甚至是弱视觉依赖样本增强了文本推断能力。论文没有充分拆解 instruction data 内部哪些能力类别真正驱动提升，也没有证明模型获得了更可靠的视觉 grounding。
第三，scale-aware 结论虽然重要，但只覆盖 1B–8B 和 200B tokens。对于 30B+、更长训练、视频/多模态 agent 场景，70% instruction 是否仍最优未知。instruction 数据通常更小、更模板化，重复到一定程度会退化；论文显示 moderate repetition 可接受，但上限仍存在。
第四，评测平均分可能掩盖能力 trade-off。表格中 DCVLM-Baseline 并非所有类别都优于 FineVision，例如 OCR 类在大规模上并不总是更好。这说明 mixture optimization 是有方向性的：它提升综合平均，但不等于 Pareto 改善所有视觉能力。
Takeaway
- 1. 对现代 VLM，数据策展的第一问题应从“过滤掉坏样本”转成“不同监督类型在不同 scale 下如何配比”。
- 2. 小规模 proxy 在 VLM 数据混合上不可靠；mixture 的 scaling slope 比小模型绝对分数更重要。
- 3. Filtering 的很多表观收益可能来自 implicit reweighting。
- 未来做数据过滤必须区分 sample quality effect 和 mixture shift effect，否则归因不可信。
一句话总结
DataComp-VLM 是把 autoregressive VLM 数据研究从不可复现配方推进到受控、scale-aware mixture benchmark 的工作，其真正贡献是证明在已策展开放数据池上，数据类型混合比额外质量过滤更决定模型能力。