精读笔记
Problem Setting
《Symbolic Discovery of Iterative Algorithms: A Continuous Latent Space Bayesian Optimization Framework》（arXiv preprint / 2026）处理的是符号形式迭代优化算法的自动发现：给定一类目标函数和初始点分布，搜索一个更新规则，使有限步迭代后的性能指标最优。这里真正的难点不是优化某个已知算法的 step size，而是同时搜索更新式的离散结构和其中的连续常数。
这个任务的核心矛盾是：算法发现希望得到 symbolic update rule，因为这样才有解释、分析和迁移的可能；但 symbolic expression tree 空间是高度离散的组合空间，直接搜索非常低效。神经网络 optimizer 规避了离散结构，但变成黑盒；MINLP 或 genetic programming 保留了结构，但代价高、扩展性差。本文切入的是这个 interpretability-scalability trade-off。
Motivation
已有路线的问题很清楚：learned optimizer 能学到复杂更新策略，但难以分析收敛性；basis-function 方法可解释但函数族被提前规定；GP/LLM program search 能输出表达式，但搜索随机且计算效率不稳定；MINLP 给出更系统的全局搜索框架，但一旦评价指标不是闭式表达式或问题规模稍大，计算代价会迅速失控。
作者的核心观察是：如果一个更新规则的结构固定，剩下的问题只是评价该规则在若干任务上的 rollout 性能，并调其常数。也就是说，算法发现可以被看成“昂贵黑盒函数上的结构搜索”。缺口在于 BO 这类 sample-efficient 方法需要连续空间，而表达式树是离散对象。本文的动机就是构造一个可供 BO 使用的连续代理空间，同时不丢掉最终输出的符号性。
Core Idea
论文真正的想法是：不要直接在表达式树空间中搜索，而是先学习表达式树的连续 latent representation，再在这个 latent space 中用 Bayesian Optimization 找高性能区域，最后 decode 回符号更新式。它改变的是搜索问题的建模方式：从 discrete symbolic combinatorial optimization 变成 continuous black-box optimization over learned representations。
这件事理论上或直觉上可能有效，依赖一个强假设：VAE 学到的 latent space 不只是能重构语法有效的树，还能让结构相近或行为相近的算法在空间中局部连续。BO 的 GP surrogate 才能利用局部平滑性，避免像随机枚举那样盲搜。和 prior 的本质差异在于，它没有把可解释性和连续优化二选一，而是用 learned representation 把两者串起来：表达式树保证输出可读，latent space 保证搜索可被连续优化器处理。
Method
方法的关键机制不是 VAE 架构细节，而是三层分工。
第一层是表达式树 superstructure。它解决“搜索对象如何被精确定义”的问题：每个候选算法是由算子、操作数和常数组成的有限深度树。这个设计保留了符号可解释性，但也把算法族限制在给定树深和算子集内。
第二层是 VAE 表示学习。它解决“如何让离散树空间可被连续优化”的问题：把满足 arity constraints 的树编码成 latent vector，并由 decoder 还原为树。这里的核心变化是搜索变量从离散节点赋值变成低维连续坐标。
第三层是 evaluation oracle。对于一个 decoded update rule，先优化其中常数，再在采样的目标函数和初始点上 rollout 若干步，用最终梯度范数之类的指标打分。这个机制把算法发现变成黑盒函数 m(z) 的优化，但也意味着性能瓶颈主要仍在 evaluation，而不是 VAE 或 BO 本身。
Key Insight / Why It Works
最关键的 insight 是：符号算法发现的难点可以被分解为“结构表示”和“昂贵评价”，而 BO 只需要一个足够平滑、足够低维的连续结构表示即可工作。VAE 在这里不是为了生成复杂算法，而是为了把合法表达式树压缩到一个连续坐标系，使 BO 能利用 surrogate 和 acquisition function 进行 sample-efficient navigation。
真正可能有效的部分是 latent structure + BO 的组合：如果有效表达式树在 latent space 中形成有局部规律的 manifold，那么 BO 可以通过少量 expensive evaluations 发现比随机初始化更好的区域。内层常数优化也很重要，因为它避免把一个结构因为常数没调好而错误判为差算法。
但需要直接指出：文中没有充分证明 latent space 学到了“算法语义”而不只是“语法重构”。VAE 的训练目标主要是 reconstruction + KL，并没有显式对齐算法性能；BO 看到的是 decoded tree 的性能反馈，但 latent geometry 是否与性能平滑一致，文中证据很弱。因此，核心能力可能主要来自小规模搜索空间上的 representation smoothing 和 BO 的 sample efficiency，而不是来自深层的算法理解。
第一组结果中发现的规则本质上是 state-dependent step size 的梯度下降变体；第二组结果更像加入了一个轻微的 shrinkage / weight decay 项。它们是合理的 symbolic rediscovery / local modification，但还不能说明框架能发现结构上真正新颖的优化算法。增益来源不清：可能来自允许状态依赖步长、有限步目标偏置、常数全局调优，或任务分布很窄，而不一定来自 VAE-BO 本身。
Relation To Prior Work
这篇工作最接近三条谱系：learned optimizer、symbolic program search、MINLP-based symbolic regression / algorithm discovery。它不像 learned optimizer 那样直接学习黑盒更新函数，而是坚持输出表达式树；它不像 GP/LLM program search 那样在离散程序空间随机探索，而是把程序空间嵌入连续潜空间；它不像 MINLP 那样对表达式树做确定性全局搜索，而是牺牲全局保证换取更低计算成本和更灵活的黑盒评价。
看似新的部分其实是已有思想的重组：expression tree 来自 symbolic regression / program synthesis，VAE latent-space BO 是分子设计和 grammar VAE 中常见套路，内层常数优化也是 symbolic regression 的标准做法。实质创新在于把这些组件组织到“迭代算法发现”这个问题上，并明确利用“固定结构后只需评价性能”的分解。
因此它不是一种新的优化算法理论，而是一种搜索范式迁移：把 symbolic algorithm discovery 从 solver-centric MINLP formulation 推向 learned latent search + expensive black-box evaluation。
Dataset / Evaluation
评估范围很窄：两个 case study，任务数量少、维度低、迭代步数短、表达式树深度只有 2。它足以说明框架在 toy-to-small controlled setting 中能跑通，并且能找到比固定步长 GD 稍好的符号变体；但不足以验证“application agnostic”或“general algorithm discovery”的强 claim。
实验没有真正展示跨任务族泛化。训练/搜索时使用的函数分布非常有限，发现的算法也是针对这些有限样本和有限步 performance metric 优化的。这里更像 empirical algorithm configuration，而不是学习一个可广泛迁移的 optimizer。
与 MINLP 的比较说明 BO 路线在该设置下更快，但这个比较也有偏置：MINLP 承担的是更硬的全局优化问题，而 BO 接受启发式搜索和无全局保证。结论应读作“在小规模表达式树和昂贵评价下，latent BO 是一个更实用的 heuristic”，而不是“优于数学规划方法”。
Limitation
最大限制是方法成立依赖 latent space 的语义平滑性，但训练目标并不保证这一点。VAE 只被要求重构有效树并匹配先验，没有被要求让相近 z 对应相近 rollout behavior 或相近 convergence profile。BO 的成功隐含依赖 representation alignment，文中未充分说明。
第二个限制是 scalability 并没有真正解决，只是转移了位置。更深表达式树、更丰富算子、更高维任务、更长迭代 horizon 会同时放大 decoder 无效率、evaluation 成本、常数优化难度和 GP BO 的维度灾难。当前结果不能外推到大规模算法发现。
第三，evaluation objective 是短 horizon 的最终梯度范数，这会偏向“前几步下降快”的规则，而不一定对应稳定、鲁棒或可证明收敛的算法。发现的 state-dependent step size 可能在训练分布外不稳定，尤其当 x 或 gradient 超出采样范围时。
第四，所谓无需假设 functional form 只在有限树深和有限算子集内成立。实际算法族仍被强烈限制，且操作集合不含历史信息、动量、线搜索、预条件矩阵等更接近现代优化算法核心的结构。planner 或长期状态建模并不存在；这不是在发现复杂迭代策略，更像是在小表达式空间中做有限步公式搜索。
第五，增益归因不清。没有足够消融说明提升来自 VAE latent search、BO acquisition、内层全局常数优化、还是简单增加表达式空间后随机搜索也能找到类似规则。
Takeaway
- 最值得记住的不是具体发现的两个 update rule，而是问题重写方式：把 symbolic algorithm discovery 变成 learned continuous representation 上的 expensive black-box optimization。
- 这个方向未来真正有价值的是 representation-performance alignment：让 latent space 不只重构语法，而是按算法行为、稳定性、收敛速度和泛化能力组织。
- 可迁移的 insight 是：对于任何离散符号对象且评价昂贵的设计问题，如果能构造一个合法性较高、局部平滑的 latent manifold，就可以用 BO 替代直接 combinatorial search。
- 下一步真正值得做的是扩大到带历史状态/动量/预条件结构的算法族，并用跨分布测试和稳定性约束验证发现规则是否超过短期 rollout tuning。
一句话总结
这篇论文把符号迭代算法发现从直接离散搜索推进到 VAE 潜空间中的贝叶斯优化，是一种以 learned representation 换取搜索可扩展性的实用型方法，但其“算法发现”能力目前更像小规模符号空间中的高效 heuristic search，而非真正泛化的优化算法生成。