精读笔记

Problem Setting

《Token-Based Affordance Grounding with Large Vision-Language Models》（arXiv preprint / 2026）处理的不是传统意义上再训练一个 affordance grounding network，而是在 zero-shot 条件下从预训练 LVLM 中恢复 action-conditioned functional region。

这个问题的关键矛盾是：affordance grounding 要求 fine-grained spatial specificity，但可用监督通常只有粗粒度 action label；同时 exocentric 图像中一个对象往往支持多个动作，action label 并不能唯一决定局部区域。比如同一把刀可以对应 cut with、hold，同一辆 motorcycle 可以对应 sit on、push。弱监督方法很容易学成“对象或场景 saliency”，而不是“动作条件化的功能部位”。

以前方法卡住的地方不是 backbone 不够强，而是监督信号和目标输出之间的信息不匹配：用短 action phrase 和 exocentric image label 去学习 egocentric pixel heatmap，本身就容易产生 shortcut。TokAG 的问题设置更像：既然 LVLM 已经通过大规模预训练吸收了 object-function-action 的知识，能不能不训练，直接把这部分 latent knowledge 投影回图像空间。

Motivation

已有路线不够的根因有两个。第一，弱监督 exocentric transfer 的 supervision 是脏的：一张图像可被多个 affordance class 复用，图像级 action label 并不能排除其他动作对应的可操作区域。第二，文本侧的 action phrase 太短，无法承载足够 functional-part semantics；“hold”“push”“sit on”这种标签对模型来说经常只提供类别约束，而不是局部几何约束。

作者的核心观察是，LVLM 虽然不直接输出 heatmap，但在生成回答时，不同输出 token 的 cross-modal attention 已经包含空间偏好。更重要的是，这些 token attention 的质量差异很大：有些 token 对应功能部件或动作语义，有些只是语法 token 或背景响应。也就是说，LVLM 里有 spatial signal，但它不是天然对齐在某个固定 token、固定 head 或固定 layer 上。

所以关键缺口不是“如何让 LVLM 知道 affordance 是什么”，而是“如何在生成式 token 序列中找到那个真正携带 action-specific localization signal 的 token”。这也是 TokAG 相比直接 prompt LVLM 输出 bbox/point 更合理的地方：它绕开了 LVLM 显式坐标生成能力弱的问题，改为读取内部 attention。

Core Idea

TokAG 的核心思想是把 affordance localization 重新表述为 token selection：给定图像、动作和目标物体，先让 LVLM 生成一句关于该动作使用物体哪个部位的回答；然后不直接相信回答文本，而是检查每个生成 token 对视觉 patch 的 attention；最后选择在目标物体 mask 内 activation 最强的 token，将其 attention map 当作 affordance heatmap。

这个建模方式改变了信息流。prior 方法通常是从 action label 训练一个映射到 heatmap 的模型，信息瓶颈在弱监督标签；TokAG 则使用 LVLM 的生成过程作为 semantic expansion，把短 action phrase 扩展成可能包含 functional part 的 token 序列，再在 token-level attention 中做 spatial readout。它引入的 inductive bias 是：真正有用的 affordance token 应该既由 action prompt 条件化，又在目标 object 内产生集中响应。

本质区别在于，TokAG 不把 affordance grounding 看成一个需要专门训练的判别任务，而看成从 foundation model 内部结构中提取 latent alignment 的 test-time inference 问题。它可能更 scalable，是因为它复用了 LVLM 的开放词汇功能知识和预训练覆盖；它可能更 generalizable，是因为不依赖 AGD20K 训练 split 中见过的 action-object pair。

Method

方法上真正必要的机制只有三层。

第一，action-object prompt 的作用不是为了得到最终文本答案，而是为了激活 LVLM 内部关于“动作—物体—功能部件”的语义链。这里 prompt 是 conditioning mechanism，不是主要贡献。论文补充材料显示多种 prompt 结果接近，说明收益不主要来自 prompt engineering。

第二，跨层跨 head 聚合 attention 是为了避免 zero-shot 设置下手工选择 layer/head。单层或单 head 可能捕捉到局部 spatial cue 或语义 cue，但 affordance 信号分布在多个层级中；全聚合牺牲了一些精细控制，但提供更稳的 semantic-spatial field。这个选择更像 robust readout，而不是复杂建模创新。

第三，spatial-aware token selection 是核心。每个输出 token 都有一张 token-to-image attention map，TokAG 用目标物体 mask 计算 token 在 object region 内的 activation，总分最高的 token被选为定位 token。这个机制解决的是生成序列中 token attention 混杂的问题：不是所有 token 都有 localization value，平均 token 会扩散，固定首尾 token 不稳定，noun-only 也会漏掉 autoregressive 预测中提前激活的 article token。

最后的 masked attention、上采样、power scaling、Gaussian blur 主要是把稀疏 attention 调成可评估 heatmap。它们有工程价值，但不是论文的核心机制；真正的变化是从“训练 affordance classifier”转为“在 LVLM token attention 中做 object-constrained selection”。

Key Insight / Why It Works

这篇最重要的 insight 是：生成式 LVLM 的输出 token 不只是语言单位，也可以被当成一组 action-conditioned visual probes。不同 token 在生成时需要依赖不同视觉证据，因此它们的 attention map 隐式对应不同语义部件或空间区域。TokAG 利用的正是这种 latent structure。

为什么有效？第一，LVLM 的大规模预训练已经编码了大量 object-function priors，例如 blade 对 cut、seat 对 sit、handle 对 hold/push。这部分能力不是 TokAG 学出来的，而是 foundation model 中已有的。TokAG 的贡献在于把这些 priors 从文本生成空间读回视觉空间。

第二，object mask 提供了一个很强的空间先验。没有 mask 时，attention 很容易被背景、人体、文字、logo 或 attention sink 吸走；有 mask 后，token selection 被迫在目标对象内部寻找最强语义响应。这相当于把 localization search space 从整图压到 object-level，再在 object 内做 functional-part selection。这个 inductive bias 非常关键，也解释了为什么直接 LVLM bbox、LVLM coordinate、SAM3 whole-object segmentation 都不够。

第三，Top-1 token selection 比 averaging 更符合 affordance 的稀疏性。功能区域通常是对象上的局部 part，而不是整段回答中所有 token 的联合注意力。平均所有 token 会把语义 token、语法 token、背景 token 全部混在一起；Top-5 增加覆盖但降低 NSS/KLD，也说明多 token 聚合在当前设计下主要带来扩散。

我判断核心贡献主要是 better inductive bias + test-time compute，而不是新的 representation learning。性能增益很大程度来自 Qwen3-VL 的预训练语义覆盖和 CLIPSeg 的 object prior；TokAG 做的是把二者通过 token attention 对齐。所谓 zero-shot 泛化并不等价于模型真的学会了 physical affordance，它更像在大模型已有 commonsense 和 benchmark object-action 分布之间做 latent retrieval + spatial readout。

增益来源仍有不清楚之处。32B 比 2B 提升不大但选中 token 更语义化，说明 scaling 有帮助但不是唯一因素；2B 已经很强，可能是 object mask 和 attention-selection bias 贡献了大量收益。文中没有充分排除 benchmark 与 LVLM 预训练数据的分布 overlap，也没有证明 attention map 对真实物理可操作性有因果对应。因此这篇更应被看作“LVLM latent localization readout”的有效工程化范式，而不是 affordance reasoning 的完整解决方案。

Relation To Prior Work

它最接近三条线：弱监督 affordance grounding、CLIP/LVLM-based vision-language transfer、training-free LVLM visual grounding。

相对 Cross-View-AG、LOCATE、INTRA、WSMA、LoopTrans、Selective Contrastive Learning 这类方法，TokAG 的本质差异是去掉 task-specific training 和 exocentric supervision，不再从带噪 action label 中学习 affordance，而是直接读取 LVLM 的预训练知识。这个差异是实质性的，因为它绕开了 exocentric 多动作共现导致的监督歧义。

相对 vision-language weak supervision 方法，它不是简单引入文本 label 或 LLM-generated part description；它把 LVLM 的生成 token 本身作为 localization candidates。这一点比“用语言增强 action phrase”更细，因为 token attention 提供了一个可排序的空间信号。

相对 LVLM grounding 中使用 final prompt token、first output token、特定 attention head 的工作，TokAG 的新增信息是 object-constrained token selection。attention 可用于 grounding 不是新思想，全层全头聚合也不算概念突破；真正新的部分是把 affordance 的 object-centric 假设转化为 token 选择准则，从而避免 heuristic token/head selection。

从技术谱系看，它属于 foundation-model probing / training-free localization / test-time readout，而不是传统 affordance learning。看似是 affordance grounding 论文，实质更像一篇关于“如何从生成式 LVLM 内部 attention 中抽取任务条件化空间图”的论文。

Dataset / Evaluation

评估覆盖了 AGD20K、HICO-IIF 和补充的 EPIC-Aff，基本能证明方法在现有 object-centric affordance benchmark 上有效，且在 unseen object split 中优于弱监督方法。尤其是它不使用 AGD20K 训练数据却超过训练方法，这支持了“LVLM 预训练知识可迁移到 affordance heatmap”的核心 claim。

但这些 benchmark 主要仍是离线二维热图评估，不验证真实机器人交互、接触成功率、3D 可达性或动态操作约束。NSS/SIM/KLD 衡量的是和人工标注 saliency-like affordance map 的相似度，而不是动作执行是否可行。因此 evaluation 支持的是 semantic affordance localization，不支持 physical affordance grounding 的强版本。

foundation-model baseline 的比较有价值：直接 LVLM 输出 bbox/point 很差，SAM3/GroundingDINO 组合也不够，说明 TokAG 不是简单靠任意 foundation model 拼接就能得到结果。不过 baseline 仍可能没有覆盖更强的 part-level VLM、open-vocabulary part segmenter 或专门的 prompt/verification pipeline。

另外，AGD20K/HICO/EPIC 的对象和动作语义很可能在 LVLM 预训练中高度覆盖。文中没有充分说明是否存在图像级或语义级 benchmark leakage。zero-shot 对 AGD20K 训练集而言成立，但对互联网规模预训练语料而言不一定是严格意义上的未见泛化。

Limitation

最核心限制是单 token 假设。TokAG 假设一个 affordance 可以由一个输出 token 的 attention 表达，这适合 seat、handle、blade 这类 object-centric part，但对 compositional affordance 明显不足。例如 pour from 可能同时需要 handle 和 spout，open jar 需要一手固定瓶身一手旋转盖子，wear/carry 可能涉及多个接触区域。此时 Top-1 token 机制会把多区域关系压缩成单一 saliency map。

第二，方法强依赖目标物体 mask。CLIPSeg 或 SAM3 失败时性能下降明显；即使作者说不绑定特定 segmenter，object mask 仍是核心外部先验。严格说，TokAG 不是完全从 LVLM 内部完成 grounding，而是 LVLM attention + external object segmentation 的组合。

第三，泛化可能主要来自预训练数据覆盖，而不是真正的 affordance reasoning。LVLM 很可能已经见过大量“knife-blade-cut”“chair-seat-sit”这样的统计关联；TokAG 读取的是这些 association，并不保证理解力学约束、可抓取姿态、材料、尺度、遮挡后的可操作性。

第四，runtime 显著慢于训练式 baseline。它用 autoregressive LVLM inference 换取免训练和强 prior，本质是 test-time compute trade-off。对离线 benchmark 合理，但对实时机器人或 AR 交互未必可接受。

第五，归因仍不清晰。全层全头聚合、Top-1 selection、object mask、Qwen3-VL scaling、post-processing 都有贡献，但文中没有完全分离这些因素的相对权重。尤其是后处理中的 power scaling 和 blur 可能对 saliency metrics 有非平凡影响；这部分更偏 engineering。

Takeaway

• 1. 最值得迁移的 insight 是：生成式 LVLM 的输出 token 可以被视为一组可搜索的视觉探针，token-level attention selection 可能比固定 token/head readout 更稳。
• 2. 对需要 fine-grained localization 但缺少标注的任务，object-constrained latent readout 是一个强范式：先用 foundation model 的语义生成激活任务相关知识，再用空间先验从内部 attention 中筛出可用信号。
• 3. 这篇真正推动的是 affordance grounding 从 weakly supervised transfer 转向 foundation-model probing。
• 未来进展很可能不在更复杂的 affordance head，而在更好的 token aggregation、multi-region reasoning、part-level mask prior 和 attention calibration。

一句话总结

TokAG 是一类典型的 foundation-model latent readout 方法：它没有重新学习 affordance，而是用 object-constrained token selection 把 LVLM 预训练中已有的 action-part knowledge 转换成 zero-shot affordance heatmap。