精读笔记
Problem Setting
论文标题：ATHENA: Accelerated Multi-Task Heterogeneous Influence Functions for Robot Data Curation（arXiv preprint / 2026）。
这篇论文处理的是多任务VLA微调中的 demonstration subset selection：给定已经收集好的多任务机器人示教，选哪些数据用于联合微调，才能在减少训练数据的同时不损失甚至提升 closed-loop success。真正的问题不是“如何定义 influence function”，而是 influence function 在十亿参数VLA和多任务机器人数据上几乎不可用。
困难点有两个。第一，计算瓶颈：per-sample gradient projection 对3B级模型非常贵，projected Hessian/Gauss-Newton 的 dense inversion 又随 timestep 数量快速爆炸。第二，多任务瓶颈：不同任务的 rollout长度、动作幅度、梯度范数、失败模式都不同，原始 influence score 跨任务不可比；直接全局排序会把数据预算集中到强信号任务，弱任务或长尾任务被删光。
关键矛盾是：机器人数据 curation 需要和最终 closed-loop performance 对齐，但真正对齐的 influence signal 又最难扩展；而可扩展的 proxy signal 往往和最终成功率不一致。
Motivation
已有路线主要缺两件东西：可扩展的因果式 attribution，以及多任务下的可比较数据价值。
人工质量指标、trajectory length、temporal surprise、trajectory diversity 等方法便宜，但它们评估的是 demonstration 的表观属性，不是这个 demonstration 对最终策略的边际贡献。论文实验里也能看到，Oracle/TSS 有时能选出“看起来质量高”的数据，但下游成功率并不一定更好。这说明 robot curation 的核心不是 data quality as human sees it，而是 data utility as policy optimization sees it。
CUPID 类 influence 方法方向是对的：用 rollout outcome 加权的 influence 去估计训练数据对闭环表现的影响。但它卡在小模型和单任务。作者的动机不是提出一个全新的 attribution 理论，而是把这条路线工程化到VLA规模，并补上多任务联合训练时的 selection imbalance。
所以关键缺口是：如何让 influence-based curation 成为 billion-parameter multitask VLA fine-tuning 的实际工具，而不是小模型上的诊断分析。
Core Idea
ATHENA的核心思想是：保留 influence function 的“训练样本—测试表现”因果近似框架，但把其计算搬到结构化低维梯度空间，并在多任务层面重新标定分数。
第一层变化是 scalability。传统 influence 需要在参数空间里处理 per-sample gradient 和 Hessian inverse；ATHENA利用线性层梯度的 Kronecker/outer-product 结构，把投影从参数空间转到 activation/backprop error 两侧做。这等价于假设对数据价值有用的梯度信息可以通过结构化随机投影保留，而不需要完整参数梯度。再用 randomized low-rank approximation 近似 projected gradient matrix 的主子空间，避免 dense inverse。这个设计本质上把 influence computation 从“精确二阶估计”降级为“低秩梯度相互作用估计”。
第二层变化是 multitask scoring。它不再相信一个全局 influence 标量能直接比较所有任务的数据，而是把 demonstration 的 local task utility 和 cross-task utility 分开估计、排序归一化后组合。这个 inductive bias 很明确：多任务数据筛选不能只追求总体贡献最大，还要避免任务覆盖塌缩；一个好样本应同时在本任务内重要，并对整体联合模型有正交互或共享价值。
Method
1. Closed-loop influence target：ATHENA沿用CUPID式思想，用 evaluation rollouts 的成功/失败 return 对 action-level influence 加权，形成 demonstration-level performance influence。它解决的是训练loss与真实任务成功率不一致的问题。对π0这类flow-matching VLA，论文用 square-flow surrogate 作为 rollout-side scalar target；这个 surrogate 是否是最合适的 action likelihood 替代，文中未充分说明，但它提供了可微的测试量。
2. Kronecker compressed gradient featurization：对于线性层，单样本权重梯度是 δ x^T。ATHENA不显式构造完整梯度再投影，而是在 δ 和 x 两侧分别投影后再组合。核心变化是把 projection cost 和 memory 从参数维度主导，转为 activation维度主导。这里的贡献更偏 scaling engineering，但它是让方法可用的必要条件。
3. Random Truncated Approximation：将 projected gradient matrix G 用低秩随机SVD近似，只在 top-r 子空间中计算 damped inverse interaction。这解决的是 P维 dense Gauss-Newton 形成和求逆的瓶颈。其隐含假设是数据影响主要集中在梯度协方差的主方向上；如果关键负样本位于低能但高影响方向，可能被截断。
4. Multitask Influence Interaction：对每个 demonstration 分别计算本任务 rollout 上的 local influence 和其他任务 rollout 上的 cross-task influence，然后 rank-normalize 并相乘。它解决的是 raw influence scale 不可比和全局贪心排序导致的任务不平衡。这个机制非常简单，但比纯全局排序更符合多任务数据预算分配问题。
Key Insight / Why It Works
这篇最重要的 insight 不是“influence function 可以做机器人数据筛选”，这个已有CUPID；而是 influence-based curation 在VLA规模上要成立，必须同时解决计算低秩化和任务尺度校准。只做前者会得到可运行但可能偏任务的数据选择；只做后者则仍然无法扩展。
方法有效的主要原因很可能有三层。第一，机器人示教数据存在大量冗余和负迁移样本；删除一部分数据本身就可能提升VLA微调，尤其在多任务联合训练中。第二，closed-loop rollout 加权的 influence 比 trajectory length、action variation、diversity 更接近真正优化目标，因此能识别“表面合理但对策略有害”的 demonstration。第三，MII避免了多任务数据筛选中的 obvious failure mode：强任务吃掉预算，弱任务失去覆盖。
最可能是核心贡献的是 scalable influence estimation + MII 的组合，而不是 flow surrogate 本身。Kronecker projection 和 RTA 很大程度上是从LLM/data attribution领域迁移过来的 scaling 技术；它们的创新性不在数学新颖，而在把这些工具正确接到VLA imitation learning 的 closed-loop curation 上。MII也不是复杂理论，但它抓住了多任务 curation 的核心病灶：score comparability。
增益来源需要谨慎归因。部分提升可能主要来自 data pruning 的 regularization effect 和去除多峰/伪相关 demonstration，而不一定说明 influence 估计非常精确。Random baseline也能带来一些改善，说明数据集本身有冗余；ATHENA的优势是在更高ROI下更稳定地保留有用覆盖。跨模型迁移结果有价值，但π0和π0.5仍属相近VLA谱系，不能过度解读为模型无关的数据价值。
这不是 reasoning/planning 方法，也没有形成更强长期状态建模。它更像 policy-aware retrieval / data valuation：通过梯度空间中的 representation alignment 找出对当前VLA优化最有利的数据。
Relation To Prior Work
ATHENA最接近的技术谱系是 influence-function data attribution，具体是Koh & Liang → TRAK/RRInf/LoGRA式大模型可扩展 attribution → CUPID/QoQ式机器人数据筛选。它不是从零提出新的机器人学习范式，而是把LLM-scale attribution的压缩技巧和robot closed-loop influence结合。
相对CUPID，真正差异有两个：一是规模，从小型单任务 imitation policy 到3B级VLA和几十任务联合微调；二是多任务评分，从单任务 demonstration ranking 到 local/cross-task interaction。CUPID解决“一个任务中哪些数据有用”，ATHENA解决“多任务联合VLA中哪些数据在全局预算下值得保留”。
相对TRAK/LoGRA，ATHENA的新信息在机器人闭环目标和多任务数据预算，而不是Kronecker projection或randomized truncation本身。Kronecker压缩和低秩近似看似是方法亮点，但本质上是已有大模型 attribution scaling 思想的迁移和组合。
相对Oracle/TSS/Distillation/TAROT，ATHENA的本质区别是 policy-outcome-aware。前几者主要是 data-space 或 feature-space proxy；ATHENA使用训练梯度、rollout侧测试梯度和return符号来估计数据对策略表现的边际影响。TAROT也考虑目标分布匹配，但它不直接建模“训练该样本会如何改变策略在rollout上的表现”。
Dataset / Evaluation
评估覆盖了RoboTwin 2.0的50任务模拟、多种filtering ratio、clean/randomized设置，以及六个真实双臂ALOHA任务。这个组合基本能支撑论文的两个主要claim：多任务VLA curation可行，以及在真实机器人上不是纯模拟现象。
RoboTwin 50任务的价值在于任务数和数据规模足够暴露多任务筛选不平衡问题；clean/randomized双设置能一定程度检验是否只是过拟合原始示教分布。真机实验虽然任务数不大，但包含不同难度和长程任务，且比较了single-task与joint fine-tuning，能说明joint VLA数据筛选确实有实际ROI。
但 evaluation 仍有明显边界。首先，所有 influence 都依赖 evaluation rollouts；如果这些rollouts和最终测试分布高度重合，curation可能学习的是benchmark-specific utility。其次，真机任务只有六个，每任务示教质量相对高，不能代表更大规模、更脏、更异构的真实机器人数据池。第三，论文没有充分展示在跨embodiment、跨动作空间、跨采集策略下的泛化。第四，跨模型迁移主要在相近VLA之间，不能证明筛选出的数据具有普适价值。
总体上，实验足够证明“ATHENA在当前设定下是有效的VLA fine-tuning data curation工具”，但还不足以证明它是通用机器人数据价值估计器。
Limitation
最大限制是 rollout dependency。ATHENA需要 evaluation rollouts 来定义下游表现影响；在模拟里便宜，在真机和开放世界任务中非常昂贵。它没有消除closed-loop evaluation成本，只是减少了反复训练成本。
第二，低秩近似的上限不清楚。RTA默认主要影响方向在梯度协方差主子空间，但机器人失败往往来自稀有状态、长尾接触、低频视觉条件；这些方向可能不是高能主方向。若关键数据价值位于低秩截断外，ATHENA可能系统性漏掉。
第三，MII是启发式。rank normalization解决尺度不可比，但也会丢失绝对效应大小；乘性组合会惩罚只对本任务极其关键但跨任务贡献小的数据。对长尾任务或高度专门化任务，这可能不是最优。文中展示了without MII会任务塌缩，但没有充分证明当前MII形式接近最优。
第四，增益归因不完全清晰。部分提升可能来自简单删数据带来的regularization、去除多峰行为模式、减少伪相关 subgroup，而不是 influence 估计本身非常准确。Random在某些设置也有收益，说明数据冗余是重要背景条件。若数据本来高质量、低冗余或覆盖不足，强筛选可能伤害性能。
第五，它主要服务fine-tuning curation，不解决pretraining-scale robot data mixture。预训练数据更异构、任务标签更弱、embodiment更多，当前rollout-conditioned influence很难直接扩展。
Takeaway
- 1. 多任务机器人数据筛选的核心不是定义更漂亮的quality score，而是让数据价值对齐closed-loop policy utility；proxy质量指标在VLA微调中很容易失效。
- 2. Influence function在机器人VLA上可用的前提是低秩化和结构化投影。
- 未来这类方法大概率会继续沿着“近似二阶 attribution + representation compression + rollout feedback”的路线演化。
- 3. 多任务curation必须处理score comparability和task coverage。
一句话总结
ATHENA是把CUPID式闭环influence数据筛选通过结构化梯度压缩、低秩Hessian近似和多任务rank校准扩展到十亿参数VLA微调的scaling型方法，核心贡献在于让policy-aware robot data curation从单任务小模型走向可运行的多任务VLA管线。