精读笔记

Problem Setting

这篇论文实际解决的是MLLM在无显式文本cue条件下的跨图高分辨率细粒度感知评估问题。它关心的不是模型能否回答“红杯子在哪里”，而是模型能否在两张接近2K、背景复杂、目标区域占比极小的图像中，自己发现哪些微小视觉证据构成差异或共同性。真正困难点有三层：第一，视觉搜索空间巨大，有效cue相对面积很小；第二，跨图比较需要建立局部对齐或抽象对应，而不是单图识别；第三，模型必须区分“确实存在的微弱证据”和“语言先验诱导出的幻觉”。以前方法卡在评估设置本身：单图fine-grained benchmark给了文本锚点，多图benchmark多是宏观推理或低分辨率，IDC又把问题变成生成式描述，导致无法干净测量主动视觉cue mining。关键矛盾是：现有MLLM的视觉token预算和注意力机制更擅长利用显式query做局部验证，但真实细粒度跨图任务要求它在没有query的情况下先发现query。

Motivation

已有路线不够的原因不是缺少更多细粒度题目，而是评估范式默认模型已经知道该看哪里。文本提示把最难的搜索问题外包给了人类标注者，因此高分辨率benchmark上的高分可能高估了模型的自主感知能力。作者抓住的核心缺口是：人类在动态环境中经常通过差异和共性来组织注意力，而当前benchmark很少把这种隐式视觉cue作为一等评估对象。多图benchmark虽然看似更接近真实场景，但大多依赖低分辨率图像、显著对象或宏观关系，无法逼迫模型处理微尺度证据。IDC路线接近difference perception，但生成式指标会把表达风格和感知错误混在一起，而且只覆盖difference，不覆盖commonality。DiCoBench的动机因此是建立一个更接近“先看出什么值得比较，再做判断”的评估设置。

Core Idea

核心思想是把细粒度感知从text-to-image grounding改造成image-to-image cue discovery。模型看到的不是一个带有明确对象名的检索请求，而是一对图像和候选判断；它必须先在视觉空间中主动形成差异/共性假设，再把这个假设映射到答案。这个改变看似只是benchmark设计，实际改变了被测能力的建模方式：从给定语义锚点后的局部识别，转向无锚点条件下的视觉证据发现与跨图绑定。

本质区别在于DiCoBench把“差异”和“共同性”当作两类基础视觉组织原则。Differential track迫使模型捕捉同一或相近场景中的局部变化，强调低层/中层细节保真与空间稳定性；Commonality track则要求模型在全局语义差异很大的场景中找到实例、类别、空间或功能上的交集，强调抽象对齐与干扰抑制。这个设计比传统IDC更generalizable的地方在于它不只评估变化描述，而是把跨图比较拆成可迁移的视觉关系类型；但它仍是评估框架，不是解决方法。

Method

DiCoBench的方法层面最重要的是三件事。第一，用高分辨率base images和微小局部编辑构造视觉证据，使任务难度来自有效信息的低占比和复杂背景，而不是语义类别罕见性；这直接测试视觉token压缩和注意力分配的上限。第二，用Differential/Commonality双轨道覆盖两种互补的跨图cue：前者解决“哪里变了”，后者解决“什么在不同场景中仍然相连”；这避免benchmark只奖励change detection而忽略association discovery。第三，用MCQ和固定的无差异/无共性选项替代开放生成，试图把评价从语言生成质量剥离出来，转为较干净的选择判断。

构造流程中的MLLM生成指令、FLUX编辑、人工审核，本质上是为了控制样本难度和减少伪线索。这里的关键不是用了哪个编辑模型，而是通过局部合成在同一背景中注入可控微证据，并通过人工过滤保证模型不能靠明显artifact或上下文矛盾作答。对于Commonality任务，跨场景植入、类别变体和功能关系合成使数据覆盖从像素级相似扩展到抽象语义对应。需要注意的是，这些机制解决的是评估可控性，不等价于证明真实世界分布上的泛化。

Key Insight / Why It Works

最重要的insight是：很多MLLM所谓高分辨率细粒度能力，可能是text-conditioned localization能力，而不是autonomous perception。DiCoBench有效之处在于剥离了文本锚点，把难度集中到视觉搜索和跨图对齐上，因此会系统性暴露模型在视觉cue召回阶段的失败。错误分析中“loss of visual cues”占主导，与裁剪/放大实验相互印证：一旦人工替模型完成区域选择或提高cue相对尺度，性能显著上升。这说明瓶颈很可能不在最终语言推理，而在视觉证据没有被检索、保留或聚合。

最可能的核心贡献是benchmark的inductive bias：用差异/共性作为组织多图感知的基本单位。这比单纯扩大分辨率或增加题目数量更有价值，因为它重新定义了应该测什么能力。辅助部分是MCQ格式和No visible选项，它们降低评估噪声，但也可能引入新的策略空间。高分辨率接近2K是必要条件，但不是根本创新；它更像是把已有视觉encoder的token bottleneck推到失效区间。数据构造中的合成编辑和人工筛选则提供了覆盖和可控性，可能主要来自engineering / data，而不是新的认知建模。

关于reasoning任务，需要更谨慎。论文把Commonality reasoning解释为高层逻辑能力，但现有模型接近随机或大量选E，并不能直接证明逻辑推理失败；更可能是底层视觉cue未进入可用表示，导致后续推理没有输入。换句话说，这里的“推理失败”很大程度可能是perception bottleneck伪装成reasoning bottleneck。若未来引入显式crop-search或multi-step visual inspection后reasoning分数上升，这将说明核心缺陷是test-time visual search，而不是语言推理本身。

Relation To Prior Work

它最接近三条路线：text-guided high-resolution fine-grained benchmarks、multi-image reasoning benchmarks、image difference captioning。和第一类的本质差异是去掉文本目标锚点，测试主动发现而非被动grounding。和第二类的差异是任务粒度从宏观场景/知识/顺序关系下沉到微小视觉证据，且图像分辨率显著更高。和IDC的差异是从开放生成变成选择判断，并从difference扩展到commonality。

看似新的部分中，局部编辑、mask扩张、人工过滤、MCQ构造都不是新思想，属于已有数据集合成工程的重组。实质创新在评估问题的重新切分：把隐式视觉cue作为系统维度，并把差异与共性并列为跨图感知的两条主轴。它属于benchmark-driven capability diagnosis谱系，而不是model-method paper。它真正新增的信息是：在去文本锚点、高分辨率、多图比较和微小cue同时存在时，当前MLLM的能力边界比单图benchmark显示的要低得多。

Dataset / Evaluation

任务覆盖较宽，包含属性、实体、空间关系、视觉痕迹推理、实例共现、类别共性、空间对应和功能关系，基本覆盖了从局部低层变化到抽象跨场景关联的谱系。它是跨图、多任务、高分辨率benchmark，但不是自然采集的真实世界连续部署数据；大量样本依赖合成编辑和人工验证，因此更适合诊断特定能力瓶颈，而不是直接估计真实场景性能。

评估在支持核心claim方面总体成立：人类高准确、模型显著落后、裁剪/放大后性能提升，这三点共同说明当前MLLM在高分辨率微cue主动发现上确实存在缺陷。MCQ也确实缓解了IDC中的生成指标偏差。但evaluation仍有明显limitation：候选项文本可能泄露语义先验，Option E会改变模型的风险偏好，合成图可能包含编辑模型artifact，且样本规模765对覆盖真实长尾视觉cue仍偏小。文中未充分说明语言选项的bias平衡、模型是否可通过候选语义排除作答、以及不同模型实际接收的图像分辨率和压缩策略是否一致。这些都会影响对“高分辨率感知上限”的归因。

Limitation

第一，benchmark成立依赖一个强前提：合成局部编辑能够代表真实世界中的微小差异和共同性。这个前提部分合理，但不充分；真实部署中的变化往往伴随视角、光照、遮挡、时间和传感器噪声共同变化，而DiCoBench很多Differential样本在背景上高度对齐，可能低估真实变化检测难度，也可能让模型学习到合成分布特征。

第二，泛化性仍未被真正证明。数据来自V* base images，并通过GPT-5.1和FLUX.2生成，存在隐含的模型生态重叠风险；即使没有严格leakage，也可能与被测模型的训练分布、图像编辑分布或caption风格有相关性。文中未充分说明如何排除benchmark overlap和implicit memorization。

第三，MCQ虽然减少文本生成评估偏差，但把问题转移成候选项选择。模型可能不需要完整发现视觉cue，只需利用选项语义、常识关系或答案先验做排除。尤其Commonality reasoning中的功能关系，可能更像语言常识retrieval加弱视觉确认，而不一定是细粒度跨图推理。

第四，所谓reasoning能力上限的归因不清。模型失败可能来自视觉token压缩、区域搜索失败、跨图attention不足、候选项校准差，或者真实逻辑推理不足；当前实验没有完全解耦。裁剪实验反而暗示很多困难会被更好的test-time compute或region proposal缓解，因此这篇更像暴露visual search bottleneck，而不是最终证明MLLM缺乏抽象推理。

第五，scalability上限在人工审核。高质量微小cue benchmark需要大量人工过滤，否则容易引入artifact或歧义；这会限制规模扩展，也使数据覆盖可能集中在设计者能想到的cue类型上。核心能力可能主要来自数据覆盖，而非任务形式本身。

Takeaway

• 1. 未来高分辨率MLLM评估应少问“给定目标能不能看清”，多问“没有目标时能不能自己发现值得看的证据”。
• 这是DiCoBench最值得迁移的观点。
• 2. 多图感知不应只沿difference captioning发展，commonality mining同样是基础能力，尤其对跨场景检索、具身记忆、异常检测和长期观察都更关键。
• 3. 当前模型的主要瓶颈很可能是test-time visual search和视觉证据保留，而不是答案生成。

一句话总结

DiCoBench是一篇benchmark-driven的能力诊断工作，它把MLLM细粒度感知的评估重心从文本引导的局部grounding推进到无显式提示的高分辨率跨图视觉cue发现，真正贡献在于暴露了当前模型的主动视觉搜索瓶颈，而不是提出新的模型机制。