精读笔记

Problem Setting

这篇论文实际处理的是视觉触觉感知中的架构发现问题：给定固定触觉传感器、固定输入输出协议和有限标注数据，如何自动找到比人工 CNN 更合适的网络结构。真正困难不在于训练一个触觉模型，而在于触觉图像的统计结构和自然图像不同，有效结构往往依赖接触形变、marker displacement、细粒度纹理或力场估计这些 sensor-specific cue。

以前方法卡在两个端点：人工设计可控但慢，强依赖专家直觉；传统 NAS 可自动化但搜索空间预定义，容易局限于已有 operator set，且评估成本对机器人任务不友好。LLM 直接生成代码看似打开了搜索空间，但没有记忆和约束时会产生 invalid code、重复结构或无意义变体。因此关键矛盾是：架构空间需要开放，但搜索过程必须足够受控；要允许 novelty，又不能让 proposal 脱离任务可训练性和下游反馈。

Motivation

作者的核心动机不是“触觉任务需要更好模型”这么泛，而是“专用传感任务缺少一种低人工成本、可持续迭代的架构假设生成机制”。触觉感知中的结构选择通常不是通用 ImageNet backbone 迁移就能解决，尤其在力估计和细纹理分类中，空间细节、局部形变、平滑性、归一化和容量分配都会影响性能。

已有 NAS 的缺口在于搜索语言太窄：operator、cell、depth/width 通常由人预先定义，所谓自动搜索仍在人工设计空间内移动。LLM 的吸引力在于它可以在 code level 组合已有深度学习 motif，绕过固定 search space。但作者也意识到 LLM 不能单独承担 optimization：它缺少明确 objective、没有长期 archive，也不会自然维持多样性。因此 TacEvo 的出发点是把 LLM 的生成先验嵌入一个由任务反馈驱动的 QD loop。

Core Idea

TacEvo 的核心思想是：不要让 LLM 直接“设计最优网络”，而是让它作为 stochastic mutation/crossover operator，不断提出可执行架构变体；再用 MAP-Elites 在 descriptor space 中保存每个 niche 的 elite。这个建模方式把架构发现从单一路径的 best-model search 改成 repertoire discovery：系统关心的不只是当前最优，还关心结构多样性和效率 regime 下的多个高质量解。

其引入的 inductive bias 主要有两个。第一，LLM 的 code prior 使搜索倾向于生成语义上合理的现代神经网络组件组合，例如 residual、attention、normalization、GELU、strided conv 等；这比手写随机 mutation 更接近可训练模型流形。第二，QD archive 强迫系统覆盖不同结构复杂度和效率区域，降低早期偶然好结构导致的 premature convergence。与 prior 的本质区别不是某个模块新，而是把“开放代码生成”和“结构化长期选择记忆”组合成闭环。

Method

TacEvo 保留的关键机制可以压缩为四个。

第一，LLM code-level proposal 解决 fixed search space 的限制。它允许候选架构改变深度、宽度、连接、pooling、normalization、activation、attention/residual 等高层 motif，而不局限于预定义 cell。但这并不意味着完全开放：I/O contract、forward shape、loss compatibility 都被固定，否则搜索会退化为不可训练代码采样。

第二，validation gate 解决 LLM 作为程序生成器的不可靠性。候选必须语法正确、可实例化、可 forward/backward，并能在任务 loss 下训练。这个机制很重要，因为它把 LLM 生成空间投影回可评估架构空间；没有它，后续 QD 反馈没有意义。

第三，CVT MAP-Elites 解决搜索坍缩问题。每个候选不只按 validation loss 排序，而是先映射到由 Architectural Diversity 和 Efficiency Ratio 定义的 niche，再与同 niche elite 竞争。这改变了选择压力：系统不是只保留全局最优，而是保留一组结构/效率不同的可用模型。

第四，prompt archive 和 curiosity signal 试图记录哪些 prompt-temperature configuration 更容易产生 archive-improving candidate。这个方向有意义，因为它把 generator 使用策略也纳入反馈循环；但文中同时说明 mutation prompts 仍从 prompt library 随机 pool 中采样，因此 prompt archive 对实际搜索决策的因果作用文中未充分说明，更像弱 co-evolution 或 logging-enhanced analysis。

Key Insight / Why It Works

TacEvo 可能有效的主要原因不是 LLM 有“触觉理解”，而是它在已知神经网络设计空间中提供了高 prior proposal distribution。相比随机 NAS mutation，LLM 更容易生成 shape 合法、训练稳定、符合常见架构经验的变体；这显著提高了可训练候选比例。所谓 self-evolving 的核心能力更接近“LLM prior + downstream filtering + archive memory”，而不是强推理或自动科学发现。

最可能的核心贡献是 QD archive，而不是 prompt curiosity。LLM proposal 可以生成许多合理模型，但如果只用单目标选择，很容易围绕某个早期较优 CNN 变体局部爬山。MAP-Elites 通过 descriptor niche 保留不同结构 regime，使后续 crossover/mutation 有更丰富 parent pool。这本质上是 memory reuse 和 diversity-preserving search，而不是单纯 scaling。

Architectural Diversity descriptor 的作用是给“结构不同”一个粗粒度坐标，Efficiency Ratio 则把 compute-size-shape trade-off 放进搜索目标之外的选择机制。它们未必是触觉物理最优 descriptor，但足以阻止 archive 退化成只按 loss 排序的榜单。这里的 insight 可迁移：对 LLM-generated programs，必须设计外部行为坐标，否则开放生成很快变成重复模板采样。

需要直说的是，论文中不少增益可能来自 engineering/scaling：20 代、每代最多 50 个候选、低保真训练筛选，本质上是在小任务上做大量 model trial。LLM 负责把 trial 的有效率提高，QD 负责让 trial 不那么重复。是否真的发现了触觉特有架构规律，证据不足；表 III 的 motif 大多是通用视觉深度学习经验的重组。

Relation To Prior Work

TacEvo 最接近三条路线的交叉：LLM-based NAS / EvoPrompting / LLMatic，quality-diversity optimization，以及机器人中的 repertoire-based adaptation。它不是从零提出新的优化算法，而是把这些思想迁移到 tactile architecture discovery，并给出针对触觉架构的 descriptor 和 evaluation loop。

相对传统 NAS，真正差异在 search space 表达：传统方法在人定义的 operator/cell 空间中优化，TacEvo 让 LLM 在代码层面提出更自由的结构变体。相对纯 LLM coding agent，真正差异在 selection memory：TacEvo 不相信一次性生成，而是用下游训练和 archive competition 形成持续反馈。相对 LLMatic，新增点主要是面向 tactile perception 的 task constraints、dual archive 叙事，以及 Architectural Diversity / Efficiency Ratio 这组 descriptor。

哪些看似新其实是重组：mutation/crossover、MAP-Elites、low-fidelity NAS、temperature control 都是已有思想。实质创新在于把 LLM code generation 放进 QD 搜索闭环，并在机器人触觉这种小规模专用感知任务上证明它能稳定运行。它属于“LLM as proposal prior + external optimizer as evaluator/selector”的技术谱系，而不是“LLM autonomous scientist”。

Dataset / Evaluation

评估覆盖了同一 ViTacTip 传感器上的两个任务：3-axis force regression 和 7-class grating classification，分别代表连续物理量估计和细粒度触觉纹理分类。这个覆盖比单任务更有说服力，但仍然是同一传感平台、同一数据规模量级、相对受控的 offline supervised setting，不足以证明跨传感器或真实部署泛化。

实验真正支持的 claim 是：TacEvo 在给定传感器和固定任务协议下，可以自动产生可训练架构，并找到若干与专家 baseline 竞争或更优的模型。它没有充分支持更强 claim，例如“发现通用触觉架构原则”或“可持续自我进化到新环境”。

高保真 20 seed evaluation 是一个优点，避免只报告搜索阶段 low-fidelity lucky run。但 baseline 只有一个专家 CNN，缺少 stronger generic baselines，例如 ResNet/EfficientNet 小模型、现代 tactile foundation representation、随机/常规 evolutionary NAS、LLM-only without QD、QD without LLM 等关键 ablation。没有这些，增益归因不清：无法判断提升主要来自 LLM、QD、搜索预算，还是 baseline 设计空间较弱。

Limitation

最大限制是因果归因不足。论文声称 dual-archive QD 和 prompt evolution 很重要，但没有充分 ablation 证明 prompt archive、temperature scheduling、descriptor choice 分别贡献了多少。尤其 prompt archive 在实现中并不强控制 prompt sampling，因此“co-evolve generator policy”的表述偏强。

第二，方法强依赖低保真评估与高保真性能的一致性。在小数据、小 CNN、短训练任务中这可能成立；但在更大模型、更长训练、更强正则或更复杂 tactile sequence task 中，10 epoch validation loss 很可能选择到错误结构。此时 TacEvo 的搜索会放大 proxy bias。

第三，所谓架构 novelty 有上限。LLM 从训练语料中学到的是常见架构设计模式，产生的 top motifs 也基本是通用视觉模型经验：attention、residual、GELU、normalization、strided conv、wider head。它更像 retrieval/recombination than reasoning。若目标是发现传感器物理驱动的新 inductive bias，目前证据不够。

第四，泛化仍是局部的。所有结果都在一个传感器和两个 offline dataset 上，缺少跨接触条件、跨材料、跨 sensor geometry、跨机器人 deployment 的验证。真实触觉部署中 distribution shift、calibration drift、contact dynamics 和 temporal information 更关键，本文没有触及。

第五，方法把人工设计负担部分转移到了 prompt library、descriptor design、validation constraints 和 evaluation budget 上。它减少的是手工架构调参，不是消除了人类先验；只是把先验从 architecture code 移到了 search protocol。

Takeaway

• 1. 最值得记住的是：LLM 在这里不是优化器，而是高有效率 proposal distribution；真正让系统工作的是外部任务反馈和 archive memory。
• 2. 对 code-level open-ended search，QD 比单目标 selection 更关键。
• 只要生成空间足够开放，就必须有显式 diversity coordinate，否则 LLM 很容易反复生成同一类安全结构。
• 3. 这篇推动的是专用机器人感知中的“architecture discovery workflow”，不是触觉建模理论本身。

一句话总结

TacEvo 是一篇把 LLM 代码先验、低保真下游评估和 MAP-Elites 多样性记忆结合起来做触觉架构搜索的工作，其贡献主要在搜索机制工程化闭环，而不是发现了新的触觉感知模型原理。