精读笔记

Problem Setting

PAGE: Towards Practical Human-level Gaze Target Estimation（arXiv preprint / 2026）。这篇论文实际解决的是 practical third-person gaze target estimation：在给定目标人头框的情况下，预测其视线目标位置和 in/out 状态。真正困难不在 heatmap regression 本身，而在把局部人体外观证据和全局场景语义候选目标进行精确对齐。以前方法的瓶颈是两类：传统多分支模型保留了 head/pose cue，但融合方式粗糙、空间错配严重；大 ViT/CLIP/DINO 路线有强表征，但 head cue 注入太弱，常把 gaze 当作 dense prediction 的一个浅层 decoder 问题。这个任务的核心矛盾是：需要高层语义判断“可能看什么”，同时又需要低层几何判断“到底看向哪里”；任何一侧弱都会导致性能上限很快触顶。

Motivation

已有路线不够的原因不是单纯模型不够大，而是信息组织方式不对。Gaze target estimation 需要目标人局部特征与场景 token 之间反复交换信息，而 prior 常把 head box 当作 mask、prompt、crop feature 或 late fusion signal，这些都没有真正解决 head-local coordinate 与 scene-global coordinate 的对齐问题。作者的关键观察是：DINO 类 backbone 已经提供了很强的通用视觉表征，缺的是 gaze-specific interaction decoder 和把这种能力迁移到小模型的训练策略。另一个缺口是数据：有标注 gaze 数据规模小、噪声大、分布窄，而无标注人像图像很多；如果蒸馏的是中间表征而不是标注，就可以绕开 gaze annotation scarcity。

Core Idea

论文真正的核心思想是：把 gaze estimation 从“scene feature 上条件化一个 head prompt”改成“scene tokens 与 head tokens 在统一空间坐标中显式交互”。head branch 不只是额外输入，而是保留高分辨率局部证据；SIM 让 head token 和 scene token 通过 cross-attention 双向建模关系；2D RoPE 把 head crop 的局部坐标映射回全局场景坐标，使 head-local evidence 可以直接参与空间推理。这引入的 inductive bias 很明确：视线目标不是由 head crop 或 scene 单独决定，而是由两者在同一几何参考系下的匹配关系决定。和 Gaze-LLE 这类方法相比，本质差异不在用了更现代的 ViT block，而在信息流从“head cue 注入 scene decoder”变成“两个语义不同但坐标可对齐的 token stream 相互推理”。这也解释了为什么它更 scalable：backbone 越强，scene/head 两侧的 token 表示越有信息量，cross-attention 越能利用这种丰富表示，而不是被简单 concat 的错配拖累。

Method

方法上应只看三个机制。第一，scene/head 双分支：它解决的是全图输入下局部眼睛和头部朝向被稀释的问题；必要性来自 gaze 对细粒度外观极敏感，尤其在远距离、小脸、多人场景中，单一 scene backbone 很难可靠保留这些 cue。第二，SIM：它解决的是分支融合问题；相比 channel concat 或 token concat，SIM 保持两类 token 的角色差异，并用 cross-attention 建模候选目标与头部证据之间的关联，这比把所有 token 混进同一空间更符合任务结构。第三，训练路径：先冻结 backbone 训练 decoder，再解冻做短程 SFT，是一种隐式 curriculum，先让 decoder 学会读预训练特征，再让 backbone 做 gaze-specific adaptation；直接 end-to-end 从随机 decoder 开始会给 backbone 传入噪声梯度。蒸馏部分解决部署问题：teacher 在大模型容量和有标注数据上形成 gaze-specific representation，student 在无标注大数据上对齐 token 表示，再用少量监督恢复输出头。

Key Insight / Why It Works

最可能的核心贡献是 SIM + 统一坐标 RoPE，而不是 DINOv3 替换或 GEGLU/register token 这类现代化细节。gaze target estimation 的隐变量可以理解为一条由 head/eye/pose 诱导的 attention ray 与场景中 saliency/object/social target 的交点；SIM 提供了一个让局部方向证据和全局目标候选互相解释的 latent structure。它不是显式几何建模，但 cross-attention 在统一坐标中近似实现了“从头部局部特征查询全局候选点”的机制。第二个有效因素是 representation alignment：蒸馏不是让学生拟合 teacher 的最终预测，而是拟合 teacher 在 scene/head interaction 后的 token representation，因此迁移的是一种任务结构化表征。这比 heatmap distillation 更可能保留泛化能力。第三个因素是 data coverage。蒸馏集从 200k 标注样本扩到 1.17M heads，性能随数据量增加，说明很大一部分增益可能主要来自 data/scaling，而不完全是结构创新。需要直说：PaGE 的“human-level”很可能是结构性 inductive bias、DINOv3 scaling、ViT-H+ teacher、大规模无标注蒸馏和 benchmark saturation 的共同结果；单独归因给 SIM 会过度解读。2D RoPE、feature dropout、GEGLU 等更像稳定训练和榨取性能的 engineering 组件。作者关于 universal visual attention 的讨论目前证据不足，动物/动画/相机结果更像 qualitative probing，不能证明模型学到了真正通用的 attention 概念；它也可能是在复用 DINOv3 的语义/姿态/saliency prior。

Relation To Prior Work

PaGE 最接近 Gaze-LLE / ViTGaze / Sharingan 之后的 ViT-backbone gaze decoder 路线，同时吸收了早期多分支 gaze 模型的思想。它的本质位置是：用大自监督视觉 backbone 提供通用 scene representation，用结构化 decoder 恢复 gaze task 所需的局部-全局交互。看似新的若干组件其实是已有思想重组：head crop branch 来自传统多分支模型，register token、GEGLU、RoPE、feature dropout 都是现代 ViT 工程栈，teacher-student distillation 也是常规 scaling-to-deployment 路线。实质创新在于两点：第一，指出 prior head branch 失败很可能是 spatial misalignment，而不是 head branch 无用；第二，在 ViT token 空间中用 cross-attention 和统一坐标重新定义 scene-head fusion。这是比“更大 backbone + 更好 decoder”更有信息量的新增贡献。

Dataset / Evaluation

评估覆盖了 GazeFollow、VAT、ChildPlay、GOO-Real 和额外 head/eye orientation benchmark，基本覆盖了当前 gaze following 社区的主流离线场景，并包含一定跨数据集零训练验证。蒸馏数据来自 MPII 和 OpenImages 中的人像样本，说明作者确实在尝试突破小规模 gaze annotation 的限制。但这些 benchmark 是否足以支撑“practical human-level”需要谨慎。GazeFollow/VAT/ChildPlay 的 human baseline 来自人类标注一致性，不是物理 ground truth；超过个体人类并不等于超过人类视觉系统，而可能表示更贴近数据集 consensus。作者自己指出 64×64 heatmap evaluation 存在系统偏差，这很重要：当模型接近饱和时，评估协议的小误差会显著影响 human-AI gap。真实部署证据相对薄弱：有 FLOPs/延迟 profiling，但没有机器人闭环、长时序、多目标 tracking 或 noisy detector 下的系统评估。因此 evaluation 强力支持“离线 benchmark SOTA/human-level”，但只部分支持“practical deployment”。

Limitation

方法成立依赖几个强前提。首先，需要准确 head box；论文采用给定头框设定，真实系统还要处理 head detection、identity association 和多帧稳定性，错误会直接影响 head branch 和坐标 RoPE。其次，强能力可能主要来自数据覆盖和 teacher scaling：ViT-H+、DINOv3、SFT、1.17M 无标注蒸馏共同堆出结果，结构贡献虽真实但不是唯一主因。第三，泛化 claim 还不够硬。动物、相机、动画的可视化不能证明 universal attention representation，可能只是 saliency、pose、object co-occurrence 和 DINOv3 pretraining 的组合外推。第四，模型仍是单帧 heatmap estimator，没有显式长期状态、意图更新或交互式 reasoning；在动态 social interaction 中，所谓推理更像从局部外观和场景先验中做 retrieval-style matching。第五，benchmark 已接近饱和且标注有噪声，继续压小数点可能无法反映真实能力提升。文中未充分说明模型在 head box perturbation、遮挡、快速 gaze shift、低分辨率、域外摄像头和多人相互注视场景下的稳定性。

Takeaway

• 最值得记住的不是 PaGE 又刷了 SOTA，而是它把 gaze following 的关键瓶颈从“有没有大 backbone”转移到“如何让局部人体证据和全局场景候选在统一坐标中交互”。
• 这个 insight 可迁移到很多 embodied/social perception 问题：手-物交互、指向理解、speaker listener grounding、机器人意图识别，都需要局部 agent cue 与全局 scene candidate 的结构化 cross-attention。
• 第二，强 teacher + 无标注 feature distillation 是小数据感知任务的一条现实路线：当标签昂贵且噪声大时，蒸馏中间任务表征可能比继续收少量标注更有效。
• 第三，未来真正值得做的是更好的数据和评估：带物理 ground truth、多视角、时序、交互闭环和真实部署噪声的 gaze/attention benchmark，而不是只在 GazeFollow/VAT 上继续做 architecture polishing。

一句话总结

PaGE 是 gaze target estimation 从“小模型特征融合/大 backbone 浅解码”走向“强预训练表征 + 坐标化 scene-head 交互 + 大规模蒸馏部署”的代表性工作，真正贡献在于重组了局部人类线索与全局场景候选之间的信息流。