精读笔记

Problem Setting

论文的真实问题是：在 agentic VideoQA 中，是否应该让系统在原有 primitive tool 之外拥有可复用的合成工具，以及这种扩展到底改善了什么。困难不在于写出 composite functions，而在于评估它们是否带来系统级收益。因为 composite tool 会把多个 primitive calls 包进一个 visible call，表面上减少了工具调用和 reasoning turns，但内部可能执行更多操作、消耗更多 token、引入更复杂的错误路径。以前方法卡在两个端点：固定工具库的 agent 每次都重新规划相似轨迹，per-query program generation 又不复用、每题重写。关键矛盾是 action abstraction 可以降低 orchestration overhead，但也可能掩盖实际 compute，并改变 planner 的错误分布。

Motivation

作者的核心观察是：VideoQA agent 的很多推理轨迹具有重复结构，尤其是长视频中围绕事件定位、片段抽取、语音转录、局部分析的组合。现有 agentic VideoQA 只允许动态选择工具，不允许动态扩展工具；这导致 recurring procedures 每次都从 primitive 重新拼。已有 visual programming 虽然能生成程序，但通常是 query-specific，回答完即丢弃，没有形成可复用的 action space。真正缺的是一个能把重复工具轨迹沉淀为 persistent abstraction 的机制，以及一个能判断这种 abstraction 是省成本、涨准确率，还是仅仅转移成本的评估协议。

Core Idea

核心思想是把“工具调用序列”提升为“可复用工具”。Dynamic-SAGE 不试图增强底层视觉/语言模型，而是改变 agent 面对任务时的 action granularity：原来 planner 需要逐步决定 ground、extract、transcribe、analyze，现在可以直接选择一个更高层的 composite action。这个变化本质上是在工具空间中注入 procedural prior，让模型更容易走到高频有效的证据获取路径。

直觉上它可能有效，是因为很多 VideoQA 错误来自 evidence acquisition 和 orchestration，而不是最终语言推理本身。把高频轨迹编译成一个稳定动作，可以减少 planner 在中间步骤上的自由度，降低偏航概率，并把上下文组织成更适合回答的 evidence object。和 prior 的本质区别不是“会调用工具”，而是把 action space 从 fixed primitive API 变成 benchmark-conditioned reusable API；它更像一种 test-time memory reuse / procedural caching，而不是模型能力提升。

Method

方法层面最关键的是三件事。第一，离线工具合成：从 held-out questions 中发现重复的工具使用模式，并生成 signature + implementation。它解决的是 per-query 重复规划问题，核心变化是把短期推理轨迹变成长期可复用动作。第二，能力约束：合成工具只能调用原 Static-SAGE primitive，不能引入新模型、新 I/O、新检索源。这个约束很重要，因为它让对比更接近“动作空间重组”的 causal test，而不是能力扩容。第三，验证与契约：composite tool 只能返回 evidence，不能直接提交最终答案；这避免工具绕过 orchestrator 变成隐藏 answerer。评估上，paired protocol 是方法的一部分而非附属分析：它把每个样本按 correctness change 与 visible tool-call change 分组，直接暴露 accuracy gain、safe compression、costly gain、regression 和 both-failure 的结构。

Key Insight / Why It Works

最重要的 insight 是：agentic VideoQA 的效率瓶颈不只是模型算力，而是反复执行相似 evidence-gathering trajectories 时的 orchestration friction。Dynamic-SAGE 有效的地方，可能主要来自 memory reuse 和 better action abstraction，而不是更强 reasoning。它把常见工具链封装成 planner 更容易选择的 affordance，相当于给 LLM planner 提供了更粗粒度、更 task-aligned 的动作词表。

我认为真正的贡献更偏 evaluation protocol，而不是 5 个合成工具本身。工具合成部分在技术上并不新：signature agent、implementation agent、verification agent 是 VADAR/visual programming 思路的自然迁移。更有价值的是作者明确指出 visible tool-call reduction 与真实 cost reduction 不等价，并用 paired decomposition 把“省步骤但更贵”“变准但更耗”“变错且更耗”分开。这个审计框架比 headline accuracy 更适合评价 agentic systems。

增益来源并不完全清楚。5 个最终工具来自 150 个同 benchmark holdout queries，且大部分 adoption 集中在浅层、高频工具上，因此很可能主要来自 benchmark distribution coverage 和 procedural template reuse。它不是开放式组合泛化的强证据。结果也显示 primitive ops、tokens、monetary cost 上升，说明它没有减少底层工作量，只是减少了 planner-visible actions。所谓 efficiency gain 更准确地说是 orchestration compression，而不是 end-to-end cost reduction。

Relation To Prior Work

这篇属于 VideoQA agent、visual programming、dynamic API synthesis 三条线的交叉。和 SAGE/VideoAgent 这类 agentic VideoQA 相比，它的新增点是工具库本身可以扩展，而不是只动态选择固定工具。和 VisProg/ViperGPT 相比，它不是每个 query 生成一次性程序，而是离线合成 persistent tools。和 VADAR 最接近，区别是从 image spatial reasoning 迁移到 video QA，并强调 cost-aware paired audit。

看似新的部分是“dynamic tool synthesis for VideoQA”，但机制上是已有 LLM code synthesis + tool verification + API augmentation 的组合。实质创新在两个地方：一是把 composite tool 定义为不新增 primitive capability 的 action-space abstraction，从而能较干净地测试 action granularity 的作用；二是提出 paired correctness-efficiency protocol，把 agentic pipeline 的收益从单一 accuracy 中解耦出来。它更像工具使用系统的审计论文，而不是一个根本性 VideoQA 模型论文。

Dataset / Evaluation

SAGE-Bench 覆盖长短视频、视觉/语音/混合模态、MCQ/open-ended 和不同难度，足以测试“工具轨迹重组是否对长视频 agent 有用”这个局部 claim。paired evaluation 设计是合理的，因为两套系统在同一 question-video pair 上比较，能减少样本差异造成的噪声。作者也报告了 McNemar、bootstrap CI、多 judge robustness，这些增强了结论可信度。

但 evaluation 仍有明显边界。首先，合成工具来自同一 benchmark 的 held-out split，这验证的是 within-benchmark procedural reuse，不是跨数据集泛化。其次，290 个视频不可用导致 evaluation split 不是原始完整 benchmark，虽然后验分布看起来接近，但仍是现实复现风险。第三，自动 judge 仍可能偏向更长、更像 reasoning 的答案；多 judge 一致只能缓解，不能完全排除。第四，RL-trained orchestrator 对新工具 adoption 为 0%，这实际上削弱了“动态工具库可自然接入 agent policy”的泛化 claim。

Limitation

方法成立依赖几个强前提：benchmark 中存在高频、可抽象、可复用的工具轨迹；orchestrator 能理解并正确路由新工具；composite tool 的内部执行不会放大错误；held-out synthesis set 与 evaluation distribution 足够接近。只要任务分布更开放或工具轨迹更稀疏，5 个 shallow composites 的收益可能迅速消失。

scalability 上限也很清楚：扩展 action space 会带来 routing burden。工具越多，planner 越难选；如果没有专门的 tool retrieval、policy training 或 usage feedback，合成更多工具不一定更好。论文自己的结果已经说明 deeper tools 使用少且准确率低，说明组合深度不是免费午餐。

泛化可能被高估。这里的“动态”主要发生在离线阶段，且工具由同一 benchmark 的 held-out queries 诱导，可能更像 distribution-specific procedural caching。核心能力可能主要来自数据覆盖，而非真正学习到可迁移的 video reasoning abstractions。成本问题也只是转移：visible calls 和 turns 降低，但 primitive ops、tokens、money 上升，因此 deployment 场景下是否更优取决于用户更关心 latency、API call count、token bill 还是 correctness。

Takeaway

• 1. 对 agentic systems，不能再只报 accuracy；必须 paired 地审计 correctness 与 cost shift，否则 composite tools 很容易制造“看起来更高效”的假象。
• 2. 动态工具合成最有价值的方向不是盲目生成更多工具，而是学习哪些 procedural motifs 值得成为 action abstraction，以及如何可靠 routing。
• 3. 这篇真正可迁移的 insight 是：把重复 test-time trajectories 编译成 persistent tools，本质上是一种 procedural memory reuse，可用于 VideoQA 之外的 agent workflows。
• 4. 下一步更值得做的是跨 benchmark / 跨 orchestrator 的工具泛化、tool selection policy learning、以及对 composite 内部成本的显式优化，而不是继续堆离线合成代理。

一句话总结

这篇论文把 dynamic API synthesis 引入 agentic VideoQA，并用 paired cost-aware audit 证明它更像一种 benchmark-conditioned procedural caching：能提升准确率并压缩可见推理轨迹，但主要是重组和转移成本，而不是创造新的视觉推理能力。