精读笔记

Problem Setting

这篇论文解决的不是一般视觉 grounding，而是 action-conditioned functional region grounding：给定图像、目标物体和动作，定位该动作真正使用的物体部位。关键矛盾是 affordance region 既依赖物体外观，也依赖动作语义；同一个 object 在不同 action 下应激活不同 part，同一张 exocentric 图像也可能同时支持多个 action。已有弱监督方法主要依赖动作标签和 exocentric 图像迁移，容易把“物体出现在哪里”或“人如何接触物体”的共现模式当成 affordance，而不是分离 action-specific evidence。真正卡点是监督信号本身太粗：短 action phrase 无法表达细粒度功能差异，而图像级弱标签又经常是多动作混合的。

Motivation

作者不满意已有路线的根本原因是：弱监督 affordance grounding 的训练信号存在结构性噪声，继续设计更复杂的 transfer / contrastive / distillation pipeline 只能部分缓解，不能从源头提供更丰富的 action semantics。LVLM 则提供了另一种信息源：它在回答“某动作使用物体哪个部分”时，生成 token 的内部 attention 已经受到动作、物体和视觉输入共同条件化。关键观察是这些 token-level attention 差异很大：有些 token 看背景，有些看目标物体，有些可能正好对应功能部位。因此缺的不是再训练一个定位器，而是一个从 LVLM 内部信号中筛选可靠 token-spatial cue 的机制。

Core Idea

TokAG 的核心思想是把 affordance grounding 从“训练一个 action-to-heatmap 映射”改成“在 frozen LVLM 的生成过程中选择最可信的 token attention”。它假设 LVLM 已经在预训练中获得了 action-object-part 的语义结构，而生成式推理会把这种结构投射到 token-to-image attention 上；只要能在输出 token 中找到空间上最贴近目标物体的那个 token，就能把隐式语义转成像素级 heatmap。

本质区别在于信息流被重新组织了：prior 是从弱标签图像中学习 affordance pattern，TokAG 是用文本生成触发 latent functional knowledge，再用 object mask 作为空间约束做 test-time readout。新的 inductive bias 很明确：affordance cue 应该是 action-conditioned、object-contained、token-specific，而不是 class-level CAM 或 whole-object segmentation。这种方式更 scalable 的原因不是算法更强，而是它复用了 LVLM 的开放词汇语义和大规模预训练覆盖，避免为每个 affordance benchmark 重新学习。

Method

方法层面最关键的是三个机制。第一，action-object prompt 用来激活 LVLM 对功能部位的语言预测，例如“perform A with O 时 O 的哪个部分被使用”。它解决的是短 action label 语义不足的问题：不是直接用 label 做分类，而是让模型生成可能包含 part/function 描述的文本轨迹。

第二，聚合所有 layer/head 的 token-to-image attention。这里的必要性不是“融合更多特征”这么简单，而是在 zero-shot setting 下没有验证集监督来选择最优 layer/head；单个 head 或 layer 的空间信号可能偏背景、偏局部纹理或偏语义对象。全层全头聚合是一种保守策略，用平均化降低结构选择风险。

第三，spatial-aware token selection 用目标 object mask 给每个输出 token 的 attention 打分，选择 mask 内总激活最高的 token。它解决的是生成 token attention 不稳定的问题：不能默认 first token、last token、noun token 就有 localization 能力。mask 在这里不是最终答案，而是一个空间先验，用来排除背景 token 并把选择问题限制在目标物体内部。

后处理如 fractional power scaling、Gaussian blur、heatmap normalization 主要是在把尖锐/noisy attention 调成 benchmark-friendly saliency map。它们可能影响指标，但不是方法成立的核心。

Key Insight / Why It Works

最重要的 insight 是：生成式 LVLM 的输出 token 不是纯语言单位，而是携带了不同的视觉检索轨迹；某些 token 在被生成时，会通过 cross-modal attention 聚焦到支撑其预测的视觉区域。affordance grounding 可以利用这一点，把 token generation 的中间注意力当作 latent spatial explanation。

真正有效的部分大概率是“LVLM 预训练语义 + object mask 约束 + token selection”三者的组合。LVLM 提供 action-object-part prior，mask 把搜索空间限定到目标物体，token selection 避免把所有生成 token 的噪声平均进去。相比之下，layer/head aggregation 是稳健性辅助，post-processing 是工程增强。

这不是典型意义上的 new representation learning，而是 foundation model latent structure readout。能力来源很可能主要是 data coverage 和 representation alignment：Qwen3-VL 在大规模图文/指令数据中已经见过大量“刀用 blade 切、椅子用 seat 坐、杯子用 handle 拿”的统计结构。TokAG 做的是把这种结构从文本预测中读出来，并用 attention 投影回图像。

需要直接指出：所谓 zero-shot 并不等于没有 supervision，只是没有 affordance benchmark 的显式训练。隐含监督来自 LVLM 预训练和 CLIPSeg 的 open-vocabulary segmentation。若 benchmark 的 affordance 标注偏 object-centric、part-centric，TokAG 会天然占优；若任务要求物理可达性、接触动力学、姿态条件或真实机器人执行成功率，attention heatmap 是否仍成立文中未充分说明。

另一个有趣点是 noun-only 不如 spatial Top-1，且冠词 token 可能最强。这说明不能把机制简单解释成“选中了语义 part word”。autoregressive attention 可能在预测下一个功能词之前就已经查询视觉证据，因此有效 token 与可解释 token 不完全一致。这个现象是论文中最值得迁移的技术观察之一。

Relation To Prior Work

最接近的路线有两条：一是弱监督 affordance grounding，如 Cross-View-AG、LOCATE、WSMA、LoopTrans、Selective Contrastive Learning；二是 training-free LVLM localization / attention probing，如利用 MLLM attention 做 grounding 或小目标增强。TokAG 位于第二条谱系，但应用目标是第一条任务。

和弱监督 affordance 方法的本质差异是监督来源不同。prior 依赖 exocentric action labels 学 transfer，TokAG 依赖 pretrained LVLM 的 action semantics 和 test-time attention readout。前者是在 benchmark 数据上学习 affordance；后者是在 foundation model 内部挖已有 affordance-like knowledge。

和 LVLM grounding 工作相比，TokAG 的新增点不是“attention 可定位”这个事实，而是把 token selection 与 object-level spatial constraint 结合起来，用于 action-specific part grounding。固定 final token、first token、selected head 这类启发式在 affordance 场景下不可靠，因为 affordance 不是对象整体定位，而是动作条件下的局部区域。

看似新的部分中，attention aggregation、mask refinement、blur 都是已有思想重组；实质创新在于把输出 token 作为 affordance hypothesis，并用目标物体内激活强度做无监督选择。这是一个简洁但有效的 readout bias。

Dataset / Evaluation

实验覆盖 AGD20K、HICO-IIF，并补充 EPIC-Aff，基本能说明 TokAG 在现有 object-centric affordance grounding benchmark 上强于训练式弱监督 baseline。尤其是 AGD20K unseen split 上超过 prior，有助于支持其跨 object 泛化 claim；HICO-IIF 支持跨数据集场景的说法。

但 evaluation 仍主要是 offline heatmap alignment，不验证真实机器人执行、物理可操作性、时序交互或 multi-step manipulation。benchmark 的 ground truth 多是静态图像中的功能区域，这与 TokAG 的 object-mask-constrained attention 很匹配，因此结果支持“静态 object-centric affordance heatmap” claim，但不足以支持更强的 embodied intelligence claim。

foundation-model baseline 的比较有价值：直接让 LVLM 输出 bbox/point 或组合 SAM/GroundingDINO 明显不够，说明显式坐标 prompting 不是解决方案。不过这些 baseline 是否充分调参、是否使用最强 grounding LVLM，文中未充分说明。TokAG 与 2B/32B 的差异也显示 scaling 有帮助，但增益来源不清：可能是更强语义，也可能是更稳定 attention 或更好预训练覆盖。

Limitation

核心限制是方法把 affordance grounding 问题转移成了两个子问题：目标物体 mask 是否正确、LVLM 是否已经知道该 action-object 的功能部位。前者来自 CLIPSeg/SAM 这类 segmenter，后者来自大规模预训练数据；TokAG 本身没有学习新的物理交互模型。

单 token 假设是明显上限。很多 affordance 不是单一区域：pour from 需要 handle 和 spout，open jar 需要 jar body 和 lid，cut with scissors 涉及 blades 和 handles，双手交互还涉及角色分配。TokAG 的 Top-1 token 可以产生多峰 attention，但它没有显式组合推理，也没有保证多区域语义完整。

泛化可能被 benchmark 形式高估。AGD20K/HICO-IIF 的标注往往是对象部位热图，而 LVLM 预训练中大量图文描述已经包含 object-part-function 常识。所谓泛化更像 retrieval / latent association reuse，而不是从少量或无数据中形成新的 affordance reasoning。

真实 deployment 鸿沟很大。静态 attention heatmap 不处理视角变化下的可达性、机器人末端执行器约束、抓取姿态、力学稳定性、遮挡后的推断、状态变化或任务阶段。它能告诉你“哪里看起来像功能部位”，但不能保证“这里可以成功执行动作”。

增益归因也不完全清楚。mask 的质量、LVLM backbone、prompt、attention extraction、post-processing 都可能贡献指标；虽然有 ablation，但没有彻底隔离预训练规模、mask oracle/非 oracle、不同 LVLM 架构和不同 annotation bias 的影响。

Takeaway

• 1. 值得记住的不是 TokAG 的 pipeline，而是 affordance 可以作为 LVLM generation-time latent attention 的 readout 问题来做；这比重新训练弱监督 transfer model 更符合 foundation model 时代的技术路径。
• 2. Token 不是均质的语义单位。
• 对于 generative LVLM，最有 spatial grounding 价值的 token 可能不是 noun，也可能不是 final/first token，而是 autoregressive 过程中提前查询视觉证据的 token。
• 这个 insight 可迁移到 fine-grained grounding、part localization、HOI localization、小目标定位等任务。

一句话总结

TokAG 是一篇典型的 foundation-model readout 型 affordance grounding 工作：它没有学习新的 affordance 模型，而是用目标物体约束下的 token-level LVLM attention selection，把预训练 LVLM 中已有的 action-object-part latent knowledge 转成 zero-shot 功能区域热图。