精读笔记

Problem Setting

这篇论文解决的不是一般意义上的“给定人头位置预测 gaze heatmap”，而是 gaze target estimation 中长期存在的建模错位：模型输出是像素热图，但真实决策变量往往是被注视的语义实体。真正困难在于复杂场景下的候选目标竞争，尤其是多个物体都在大致视线方向上、外观显著性相近或语义相似时，模型需要先决定“看的是哪个东西”，再决定“落在它的哪里”。过去方法主要把这个问题交给 feature aggregation 和 decoder 隐式解决，因此一旦场景里有 clutter、多个实例或强背景 saliency，预测就容易变成空间上合理但语义上不稳定的响应。关键矛盾是：任务监督通常是点级/热图级，但错误模式常常是对象级选择错误。

Motivation

已有路线不够的原因并不是缺少 backbone capacity，而是缺少结构化的决策变量。多分支方法引入 depth、pose、3D head、saliency 等信息，本质上是在 pixel regression 上堆 cue，复杂度和外部模块依赖都上升；foundation-based 方法用 DINO/ViT 等强表征降低参数量，但多数仍用最终层特征直接解码，继承了“全局特征到热图”的 formulation。作者真正抓住的缺口是：对象语义和观察者几何在 gaze 中不是普通 feature，而是应该作为搜索空间和可行域的约束。换句话说，缺的是一个把 semantic candidate、view geometry 和 localization 分层组织起来的 inductive bias。

Core Idea

核心思想是把 gaze target estimation 从单步 heatmap regression 改写为分层推断：先构造可能被看的对象假设，再用观察者的方向几何过滤空间可达区域，最后在语义与几何一致的区域内做精定位。这个改变的本质不是增加模块，而是改变了信息流：对象不再只是 decoder 里的隐式 activation，而是以 token/region 的形式进入表征；视线方向不再只是输入特征，而是显式塑造 heatmap 的 prior。

这个 formulation 直觉上成立，因为 gaze target 的不确定性通常不是均匀分布在整张图上，而是集中在少数对象和由头部朝向限定的扇形区域内。相比 prior work，它引入了两个更强的 bias：objectness bias 和 geometric reachability bias。前者降低语义竞争的自由度，后者降低空间搜索的自由度；多尺度特征则是在强语义和空间精度之间做补偿。因此它可能比纯回归方法更 generalizable，但前提是 object detector/segmenter 和 gaze direction estimator 在目标域仍可靠。

Method

方法层面只需要记住三件事。第一，object-level semantic representation 的作用是把图像 patch 特征和由 YOLO/SAM 得到的候选对象 token 进行交互，使后续特征带有“哪些实体可能是目标”的结构化信息；它解决的是 gaze heatmap 缺乏对象边界和实例语义的问题。第二，gaze geometry prior 用 head appearance 与 eye position 预测二维方向，再生成软 FOV cone；它解决的是搜索空间过大以及背景/旁侧物体误响应的问题，核心变化是把方向从弱特征变成空间约束。第三，multi-scale semantic localization 以深层 DINO 语义为主，用浅层和中层作为 residual 补充；它解决的是 final-layer foundation feature 语义强但定位粗的问题，同时避免多尺度拼接带来的过强低层噪声。

这些机制的组合比单个模块重要：object tokens 给候选集合，FOV prior 给可行域，多尺度融合给落点精度。若只看实现，很多部件都常见；真正的设计点是它们对应了 gaze error 的三个层次：选错对象、看错方向、定位偏移。

Key Insight / Why It Works

最可能真正有效的是 inductive bias，而不是 decoder engineering。该方法把 dense prediction 的自由度压缩到“对象候选 × 几何扇区 × 多尺度一致性”的交集上，因此在 benchmark 中会自然减少散射响应和语义漂移。object fusion 的收益本质上是 representation alignment：把 foundation features 对齐到 detector/segmenter 提供的离散实体；FOV 的收益是搜索空间裁剪；multi-scale 的收益是恢复空间精度。三者不是同一类增益，互补性较强。

但需要直接指出：所谓 geometric reasoning 主要是二维 cone prior，不是严格的三维几何推理；所谓 object-level reasoning 也很可能是外部 detector/segmenter 提供的 hidden supervision 被注入到 gaze model 中，而不是模型自己学出了对象决策。DINOv3 + YOLO11x + SAM2-hiera-large 的组合非常强，虽然 trainable params 只有 7.1M，但系统级能力大量来自 frozen/backbone/offline models。增益来源不清：可能一部分来自更好的 inductive bias，一部分来自 foundation model scaling 和 mask quality，而不是 gaze-specific reasoning 的突破。

另一个关键判断是，这篇更像“把 gaze following 重新表述为 object-conditioned constrained heatmap prediction”，而不是实现了真正的 cognitive hierarchy。它对 benchmark 很有效，因为多数 gaze target annotation 确实靠近对象，且头部方向与目标位置有强相关；但当 gaze 指向关系、动作、区域或模糊 social attention 时，这种对象化假设会变成瓶颈。

Relation To Prior Work

它最接近三条线的交叉：object-aware gaze target detection、foundation encoder gaze following、以及利用 head/gaze direction 的几何约束方法。与早期 dual-branch 或 transformer heatmap regression 的本质差异在于，它不再完全依赖全局 feature response 来“涌现”目标，而是显式注入候选对象和方向可行域。与 object-aware 方法相比，它的新增点是对象信息不只是辅助 cue 或后处理，而是在 token-level 融入表征并参与后续定位。与 Gaze-LLE 这类 foundation-based 方法相比，它不满足于 final-layer decoding，而是利用层级特征和几何 prior 来约束定位。

不过，很多看似新颖的部件是已有思想的重组：YOLO/SAM 提供 object proposal，DINO 提供强视觉表征，FOV cone 是经典 gaze prior，多尺度融合也是常规设计。实质创新在 formulation 和组合方式：把对象语义、视线方向和多尺度特征统一到一个单模态框架里，并明确反对 pixel-level regression 的默认范式。它属于“foundation representation + structured inductive bias”的技术谱系，而不是纯 architecture novelty。

Dataset / Evaluation

评估覆盖了静态图像、视频帧、儿童交互和零售/真实场景，表面上能支持跨场景鲁棒性的 claim。结果显示该方法在多个 benchmark 上稳定强，尤其是 AUC 和 L2 同时改善时，说明不仅排序响应更好，空间落点也更准。ablation 也基本支持三个核心组件互补这一说法。

但 evaluation 对核心 claim 的验证仍不充分。论文声称 object-level hierarchical reasoning，但没有提供严格的 object selection accuracy、候选对象排序、mask 质量敏感性、detector failure 分析，也没有与“同等 DINOv3 + 同等 decoder + 无 object tokens”的强 baseline 做足够细的归因。VideoAttentionTarget 上没有显式 temporal modeling 却表现不错，这可能说明该 benchmark 对 temporal reasoning 要求有限，或单帧 bias 已足够强。GOO-Real 的跨域结果支持一定泛化，但是否来自对象先验契合 retail 场景还不清楚。整体看，benchmark 证明了方法有效，但没有完全证明它在做作者宣称的那种对象级推理。

Limitation

最核心限制是它把 gaze target 强行对象化。这个假设在物体明确、注视点落在实体上的数据集里很强，但在人-人交互、身体区域、动作事件、空间区域、屏幕外目标或共享注意场景中会变弱。论文自己的 failure case 已经暴露：相似实例竞争时几何 prior 无法区分具体对象；人体扩展区域中模型会偏向语义显著部位如 face，而不是标注点。这说明 objectness bias 既是优势也是上限。

第二个限制是系统依赖重。虽然报告 trainable params 很小，但离线 YOLO/SAM 和 frozen DINOv3 承担了大量语义与分割能力；真实部署成本、延迟、mask failure、domain shift 都没有充分讨论。所谓单模态框架也只是输入模态单一，并不等于没有外部视觉专家模型。第三，二维 FOV prior 是强但粗糙的约束，忽略相机几何、深度、眼球朝向和多人的 occlusion/interaction，因此 reasoning 很可能只是 soft spatial gating。第四，增益归因不清：没有充分排除 scaling、预训练数据覆盖、检测/分割隐式监督带来的贡献。泛化可能依赖 benchmark overlap 或对象分布相似，而不是学到更抽象的 gaze reasoning。

Takeaway

• 最值得记住的不是具体模块，而是 gaze target estimation 应该从 dense heatmap prediction 转向 structured candidate reasoning：先限制“可能看什么”，再限制“可能在哪里”，最后才做像素级定位。
• 这个 insight 可以迁移到其他视觉指向/交互任务，例如 pointing target、human-object interaction focus、robot joint attention、egocentric intention grounding。
• 未来更值得做的是把 object reasoning 从外部 mask 注入推进到不确定性建模：候选对象应有概率、实例竞争应显式建模、扩展区域目标不应被压成单点。
• 另一个方向是从 2D FOV prior 走向 3D/temporal/social geometry，把 gaze 从单帧空间约束升级为跨时间的交互状态推断。

一句话总结

这篇论文是 gaze target estimation 从 foundation-feature heatmap regression 向 object-conditioned、geometry-constrained structured prediction 演化的一步，真正贡献在于引入合适的对象与几何归纳偏置，而非单纯的新网络模块。