精读笔记

Problem Setting

论文标题：SurGE: Surrogate Gradient-guided Evolution for Co-design of Legged Robots with Parallel Elasticity（arXiv preprint / 2026）。

这篇论文解决的不是一般意义上的“设计一个更省能的弹簧腿”，而是一个更具体的外层 co-design 搜索问题：在已训练好的 design-aware locomotion policy 下，如何高效、稳定地搜索 UPS 的连续设计参数，使闭环 hopping 的热损耗和跟踪误差更低。

关键困难在于外层目标不是一个干净的可微函数。它由接触切换、单向弹簧啮合、闭环神经控制器、高保真仿真 rollout 和能耗统计共同定义，既昂贵又非光滑。CMA-ES 这类零阶方法能处理黑箱，但会产生两个实际问题：评估预算随维度变差，且不同 seed 可能收敛到不同 basin。对硬件设计而言，“多 seed 找到多个可行局部最优”并不总是优势，因为最后必须制造或调一个具体设计。

这篇论文抓住的矛盾是：真实目标不能可靠反传，但完全不用方向信息又太慢、太随机。SurGE 的问题设定就是在这两者之间找一个折中：允许梯度有偏，但不允许它直接决定最终 objective。

Motivation

已有路线的不足可以概括为两类极端。纯 evolutionary search 把仿真器当黑箱，鲁棒但样本效率低；端到端可微动力学试图获得准确梯度，但在 legged contact 和机制 engagement 上往往要引入平滑/松弛，从而得到可能不可部署的梯度。

作者的核心观察是：co-design 外层优化可能不需要精确梯度，只需要一个能把搜索分布推向低目标区域的方向性信号。只要真实 objective 仍由不可微高保真仿真评价，surrogate gradient 可以被降级为一种 inductive bias，而不是被当成真梯度。

关键缺口因此不是“如何让整个机器人仿真可微”，而是“如何安全地使用一个有偏 surrogate gradient”。SurGE 的动机正是把近似模型的方向性和 CMA-ES 的 ranking-based 鲁棒性组合起来。

Core Idea

SurGE 的核心思想是：用可微 surrogate pipeline 在当前设计分布均值处估计下降方向，然后把这个方向注入 CMA-ES 的 sampling distribution，而不是直接沿梯度优化设计。换句话说，梯度只改变候选解从哪里采样；候选解好坏仍由真实不可微 simulator 决定。

这改变了 co-design 的建模方式：过去要么把设计优化视为黑箱搜索，要么试图构造可微闭环系统；SurGE 则把可微模型放在“proposal shaping”位置。它引入的 inductive bias 是：即使 SRB 和真实机器人不一致，其梯度场仍可能在大尺度上指向更合理的弹簧参数区域。

本质区别在于信任边界。纯梯度法信任 surrogate 的 objective；SurGE 只信任 surrogate 的局部方向趋势，并让 CMA-ES 用真实 rollout 进行选择与纠偏。这也是它比直接 surrogate GD 更可靠的原因。

Method

第一，design-aware policy 用来摊销内层控制优化。它把设计参数作为输入，使同一个策略在设计空间内提供近似闭环控制器。没有这一步，外层每评估一个设计都需要重新训练或优化 controller，co-design 会退化成不可承受的 bilevel loop。这里的风险是 policy 的覆盖范围直接成为设计优化的隐含边界。

第二，可微 Kino-SRB + 平滑 UPS torque 提供 surrogate gradient。它解决的不是精确模拟问题，而是给设计参数提供一条可反传的信息路径。SRB 只捕获质心动力学和弹簧对 GRF/关节力矩的主导影响，因此它的梯度天然有偏，但计算便宜且稳定。

第三，state alignment 限制 surrogate drift。每个时间步从高保真仿真状态重新抽取 surrogate state，再只通过单步 surrogate 传播梯度。这是一个很关键的折中：牺牲长时域真实敏感性，换取局部梯度不因模型误差爆炸。

第四，gradient-guided CMA-ES 是核心优化器。梯度经过 CMA-ES covariance 预条件后用于 mean shift，相当于在当前搜索分布几何下做一个自然梯度式偏置；cosine decay 则逐渐降低该偏置，避免后期被 surrogate bias 锁死在错误最小值附近。

Key Insight / Why It Works

最重要的 insight 是：biased gradient 在 evolutionary optimization 中不必准确，只要能降低 proposal distribution 的方向熵。SurGE 的有效性不来自“解决了接触不可微”，而来自把不可微问题中的部分低频结构抽出来，作为 CMA-ES 的搜索先验。

真正起作用的很可能是 early-stage basin selection。CMA-ES 在低维连续设计空间里本来可以找到好解，但初期采样方向随机，跨 seed 会走向不同 basin。Surrogate gradient 把早期 mean 推向相似的低目标区域，因此降低 seed variance 和 population spread。后期如果继续强行注入梯度，会被 surrogate bias 伤害；cosine decay 的 ablation 直接支持这一点。

这不是纯 scaling，也不是 retrieval。更准确地说，它是 better inductive bias + test-time compute：policy 预训练提供设计空间覆盖，surrogate 在优化时提供额外方向计算，CMA-ES 用真实仿真筛选。方法的核心贡献不是某个网络结构，而是把“可微但不可信的模型”放在一个不会完全破坏真实评价的位置。

哪些可能只是辅助：ROA、具体 PPO recipe、MLP encoder、多数训练超参数都不是核心创新；它们主要保证 policy 可部署和可微。state alignment 很重要，但更像让 surrogate gradient 可用的 engineering stabilizer。真正的机制贡献是 mean-shift injection + annealed trust schedule。

需要警惕的是，实验空间只有 4D，且机器人是 planar monoped，SRB surrogate 与任务目标高度匹配。这里看到的稳定性增益可能部分来自低维 landscape 和良好任务结构，而不是一个普适的高维 co-design 解决方案。

Relation To Prior Work

它最接近三条线：design-conditioned controller/amortized co-design、guided evolutionary strategies、以及 legged locomotion 中的 differentiable surrogate dynamics。SurGE 的新意不是单独发明这些组件，而是把它们在 co-design 外层搜索中重新组合，并明确把 surrogate gradient 降级为 CMA-ES 的 proposal bias。

相对 Bjelonic 等 design-aware policy 工作，SurGE 没有只停留在“用一个 policy 替代内层优化”，而是进一步利用 policy 的可微性对设计参数求方向信号。相对 differentiable simulation 路线，它不要求 surrogate objective 本身可信，因此对 contact smoothing 的依赖更弱。相对 Guided ES，它的特殊性在于 surrogate gradient 来自机器人闭环动力学和设计参数，而不是一般机器学习 loss 的辅助梯度。

看似新的部分中，policy amortization、CMA-ES injection、cosine annealing 都是已有思想；实质创新在于将它们放进 legged robot elastic co-design 的非光滑外层，并展示“有偏模型梯度 + 真实黑箱评价”可以改善可复现性。它属于 hybrid zero-order / first-order optimization 的技术谱系，而不是纯 differentiable robotics。

Dataset / Evaluation

评估覆盖较窄但和 claim 基本对齐。仿真实验集中在 MUPS v2 planar hopper 的 2D/4D UPS 参数空间，任务是固定速度和固定 apex height 的平地 hopping。它验证了 SurGE 在这个低维、结构明确、surrogate 合理的 co-design 问题上能减少跨 seed 方差，并保持或略优于 CMA-ES 的 best objective。

硬件实验是论文的重要加分点，但证据强度有限。真机只测试 2D 子空间上的 3 个设计点，并且是沿 SurGE path 取点；这能说明优化方向在真实系统上没有反转，也能支持局部 sim-to-real trend transfer，但不能证明 full 4D 搜索结果在硬件上同样成立，更不能证明跨机器人形态泛化。

benchmark 是否验证核心 claim：对“surrogate gradient 可用于降低 co-design 搜索方差”是支持的；对“scalable 到高维 legged robot co-design”只是弱支持。文中没有展示更高维设计、更复杂 contact schedule、多速度任务或不同 morphology，因此 scalability claim 仍偏前瞻。

Limitation

最大限制是 surrogate gradient 的有效性依赖结构性匹配。MUPS hopping 的主要能量通道与质心动力学、腿部 Jacobian、弹簧扭矩关系高度相关，因此 Kino-SRB 能给出有用方向；换到多足、多接触模式、强非质心效应或复杂传动机构时，这个相关性可能迅速下降。

第二，policy coverage 是隐藏前提。design-aware policy 如果没有在整个设计空间内学到近似合理的闭环行为，外层优化看到的不是“设计本身的好坏”，而是“该 policy 在这个设计上的适配程度”。因此方法可能把 co-design 难度转移到了大规模 domain-randomized policy training。核心能力可能主要来自数据覆盖，而不是优化器本身。

第三，state alignment 虽然稳定，但也意味着梯度并不是完整闭环 rollout 的真实敏感性。它更像逐步局部方向拼接，不是真正的长期轨迹梯度。对于需要长期相位、能量积累或 contact sequence 改变的设计目标，这种梯度可能缺少关键因果信息。

第四，增益归因仍不完全清楚。SurGE 相比 CMA-ES 的 best objective 改善很小，主要收益是方差和集中度；这对硬件设计有价值，但不等于找到了显著更优设计。文中未充分说明 surrogate gradient 和真实目标局部下降方向的定量相关性，也没有充分排除低维 landscape 下简单 mean bias 就足够的可能。

Takeaway

• 第一，legged robot co-design 中不必执着于精确可微仿真；把有偏梯度放在 proposal 层，而不是 objective 层，是更稳健的用法。
• 第二，SurGE 真正推动的是“可微模型作为搜索先验”的范式：surrogate 负责减少 early search randomness，真实 simulator 负责最终选择。
• 这一 insight 可以迁移到其他非光滑硬件设计、接触丰富操作、软硬件联合调参问题。
• 第三，未来更值得做的不是继续堆 policy architecture，而是系统研究 surrogate gradient 的可信度：什么时候方向相关、什么时候会误导、如何在线估计或校准 gradient trust。

一句话总结

SurGE 是一篇把 biased differentiable surrogate gradient 安全嵌入 CMA-ES 的 hybrid co-design 工作，真正贡献在于用不完全可信的模型梯度降低腿式机器人弹性机构设计搜索的随机性，而不是解决了完整可微机器人设计问题。