精读笔记

Problem Setting

这篇论文处理的不是普通 saliency，也不只是生成 scanpath，而是要把人类视觉探索建模成一个可条件化、可采样、可精确算 likelihood 的概率序列模型。难点在于 scanpath 同时包含三类信息：图像语义决定哪里值得看，历史 fixation 决定哪些区域已经被探索，任务/主体/时长等上下文改变下一步 gaze policy。过去方法的关键瓶颈是结构刚性：机制模型把眼动规律写进架构，DeepGaze III 类方法把空间 density 和历史 dynamics 分开设计，diffusion/point-process 方法虽然更 generative，但概率密度和评估不自然。这个任务的核心矛盾是：需要足够强的语义先验和灵活条件化，但又不能牺牲概率校准与信息论评估。

Motivation

已有 scanpath 路线的问题不是没有序列模型，而是序列模型通常从 gaze 数据里从零学，而 gaze 数据规模远小于 VLM 预训练语料。作者的核心观察是：人看图的路径很大程度受高层语义、对象关系和任务目标驱动，而这些正是 LVLM 已经大规模学过的东西。缺口在于 scanpath prediction 一直没有真正对齐到 foundation model 的 native objective：静态 saliency 用了强视觉特征，但序列和条件化仍靠专用设计；新 generative 模型能生成轨迹，却难以给出精确空间概率。于是作者把问题改成结构化 token prediction，让 gaze 直接进入 VLM 的语言生成接口。

Core Idea

真正核心是：把 fixation 坐标离散为固定格式文本 token，并把整个 scanpath 当作 autoregressive sequence 生成。这样下一次 fixation 的空间分布不再由一个专门的 gaze head 预测，而由 VLM 在图像、历史 fixation 和文本条件下的 next-token distribution 给出。这个重表述让 scanpath likelihood 与语言模型训练目标完全对齐，IG 也可以直接从 token log-probability 计算。

本质区别在于 inductive bias 的来源变了。prior work 倾向显式注入 oculomotor constraints；这篇把主要 inductive bias 换成大规模 VLM 的语义-序列先验。它重新组织了信息流：image semantics、task text、subject ID、duration、history 都成为同一个上下文序列的一部分，由同一个 autoregressive decoder 融合。这个设计更 generalizable 的原因不是 gaze-specific 机制更精巧，而是条件变量扩展成本低，且可以复用 VLM 已学到的开放词汇语义和序列预测能力。

Method

方法层面最关键的是概率表述，而不是模型结构。固定两位数字坐标解决 likelihood 可比性：如果“7”和“73”token 长度不同，模型概率会混入 tokenizer artifact，IG 就不再是空间概率的干净估计。digit-only renormalization 解决 vocabulary leakage：VLM 原本可以把概率分给任意词，必须在坐标位置限制到合法数字，空间 density 才封闭。

评估机制也很重要。完整 saliency map 通过四层 prefix tree 精确展开 P(x1)P(x2|x1)P(y1|x1,x2)P(y2|x1,x2,y1)，避免对 10K 坐标逐点独立打分；只算 IG 时则沿 ground-truth 路径 teacher-force，四个 token 就能得到该 fixation 的精确 likelihood。这使模型既是 generative sampler，也是 calibrated density estimator。duration、subject、search target 的加入本质上只是改变 conditioning text 或输出 tuple，证明接口统一，而不是证明新模块有效。

Key Insight / Why It Works

最可能的核心贡献是 representation alignment：scanpath prediction 被强行对齐到 VLM 最擅长的东西——在视觉上下文中做条件序列预测。它有效不是因为坐标 token 本身高级，而是因为坐标 token 成为了一种 probing interface，让 VLM 的语义理解、对象优先级、任务目标和历史上下文可以直接映射到 gaze probability。

增益来源我会分三层看。第一层是 scaling / pretrained semantics：MMMU 与 IG 的强相关、不同 VLM family 的差异、matched-backbone DeepGaze III 仍落后，都说明主要能力来自完整 multimodal model，而不是单纯 vision encoder。第二层是 better inductive bias：autoregressive decoder 天然适合 history-dependent prediction，比静态 density + 手工 dynamic branch 更容易表达 observer state。第三层是 evaluation alignment：训练目标和 IG 一致，避免 diffusion/point-process 类方法在生成质量和概率评估之间错位。

但需要直接说：文中没有充分解开“reasoning”与“retrieval-like semantic prior”的区别。模型看起来会根据 target 搜索、根据 duration 改变 entropy，但这可能主要是从数据分布中学到的条件相关性，而不是形成了显式 planning。duration intervention 是很好的 in-silico probe，但不能自动升级为 causal explanation。subject conditioning 的增益很小，更像 subject-specific bias calibration，而不是深层个体策略建模。prefix-tree evaluation 是必要工程，不是认知建模创新。

Relation To Prior Work

这篇最接近三条线的交汇：DeepGaze 系列的 probabilistic saliency / IG 传统，Pix2Seq/Shikra/Kosmos 类把空间输出文本化的 VLM grounding 思路，以及 scanpath diffusion/point-process 的 generative sequence modeling。看似新的是“用 VLM 生成坐标”，其实坐标 tokenization 和 prompt conditioning 在视觉定位里已有；真正新增的是把它系统性用于 scanpath density，并把 next-token likelihood 与 IG 严格连接起来。

和 DeepGaze III 的本质差异不是 backbone 更强，而是状态建模方式不同：DeepGaze III 仍是 gaze-specific architecture，VLM route 把历史、任务、主体都放进同一个 sequence context。和 diffusion/TPP 的差异是概率评估：后者能采样但 exact density 不自然，这篇牺牲连续空间优雅性，换来离散网格上的精确 likelihood。和机制模型的关系更像 bitter lesson：它不是解释 inhibition-of-return，而是用大模型拟合出类似现象，再反过来作为机制假设生成器。

Dataset / Evaluation

评估覆盖了自由观看、多数据集 OOD、视觉搜索、subject conditioning、duration conditioning，基本能支撑“统一条件生成接口”这个 claim。matched-backbone control 是关键实验，因为它排除了“只是视觉 encoder 更好”的最弱解释。shuffle/history ablation 也比较重要，因为它证明模型不是只学静态 saliency，而是使用了历史顺序信息。

但 evaluation 仍有明显边界。所有结果都是离线 eye-tracking benchmark，没有真实交互部署，也没有在线任务闭环。跨数据集泛化看起来强，但这些数据集仍共享自然图像、中心偏置、类似 viewing protocol；benchmark overlap 或 object distribution overlap 不能完全排除。IG 是合适主指标，但依赖 centerbias baseline 和离散坐标概率构造；AUC 接近饱和，不能提供太多区分。视觉搜索结果很强，但 target-present 情况下可能高度依赖 VLM object localization prior，而不是 scanpath-specific planning。

Limitation

方法成立的核心前提是：VLM 预训练已经覆盖了足够多的视觉语义、对象类别和任务语言，gaze fine-tuning 只需要学习把这些 latent semantics 投影到 fixation token。若进入医学图像、专业界面、非自然场景、异常人群或实时交互任务，这个前提不一定成立。所谓泛化可能更多是 semantic prior + dataset overlap，而不是真正 domain-invariant gaze model。

scalability 上，100×100 网格是明显上限；更细粒度会拉长 token 或增加 prefix-tree 成本。作者提出 atomic 10K coordinate token 是合理方向，但需要更大坐标语料，否则低频空间位置 embedding 会欠训练。机制解释上，模型复现 oculomotor phenomena 不等于理解机制；它可能只是 conditional density estimator。增益归因仍不清：LoRA 微调、多数据集混合、VLM family、模型规模、prompt 格式、坐标离散化各自贡献没有被完全拆开。另一个隐含问题是 test-time compute：完整 density 仍需 1111 prefix passes，这对于实时 gaze prediction 并不轻。

Takeaway

• 最值得记住的不是 DeepGaze3.5-VL 这个具体模型，而是 scanpath 可以被重新定义为 VLM-compatible structured prediction，并因此继承 foundation model 的语义、条件化和 likelihood machinery。
• 这个方向未来大概率会从手工 gaze priors 转向“foundation model + calibrated spatial token/probability interface”：机制模型的角色会更多变成解释和诊断，而不是性能上限来源。
• 可迁移 insight 是：只要任务的输出可离散化为结构化 token，并且评估能对齐 next-token likelihood，就可以把原本专用的感知/行为预测问题并入通用 autoregressive modeling。
• 真正值得继续做的是归因和机制拆解：区分 VLM 语义 prior、历史状态建模、任务条件化、数据覆盖和 test-time likelihood computation 各自带来的收益，而不是继续只堆更大的 VLM。

一句话总结

DeepGaze3.5-VL 是 scanpath 建模从 gaze-specific architecture 转向 foundation-model autoregressive density modeling 的代表性工作，真正贡献在于把人类眼动序列对齐到 VLM 的条件 next-token likelihood，而不是提出新的眼动机制。