精读笔记

Problem Setting

《ART for Diffusion Sampling: Continuous-Time Control and Actor–Critic Learning》（arXiv preprint / 2026）处理的是 diffusion sampling 的时间步分配问题：给定一个已经训练好的 score/denoising model 和一个固定数值 solver，在固定 NFE 预算下，如何选择反向概率流 ODE 的 timestep grid。这里的难点不是求解 ODE 本身，而是局部数值难度随时间和状态变化，统一步长或固定噪声坐标下的步长都可能把计算浪费在低误差区间。已有 EDM/DPM schedule 很强，但本质是手工选择的坐标变换；它们能在某些图像 pipeline 上工作，并不等于它们是从采样误差优化原则推出的。关键矛盾是：最优 schedule 应该由轨迹上的局部动力学决定，但在高维生成模型里直接解这个最优分配问题不可行。

Motivation

已有路线缺的是一个“为什么这样分配时间步”的目标函数。Uniform 没有利用反向 ODE 的非均匀性；EDM/DPM 利用噪声尺度或 log-SNR 的经验结构，但这些结构是固定的，不能保证适应具体 score model、solver 和数据分布。作者的核心观察是，timestep grid 本身就是一种 test-time compute allocation：在局部刚性大、误差放大的地方慢走，在容易区间快走。由此自然想到把 schedule 视为时间重参数化，而不是把它当成离散超参数表。真正缺口是：既要有连续控制式的原则化目标，又要绕开高维 HJB 的不可解性。

Core Idea

论文真正的核心是把 diffusion physical time τ 改写成 learned sampling clock t 下的映射 τ=ψ(t)，并把 θ(t)=dψ/dt 当作控制变量。均匀的 t-grid 经过 ψ 后变成非均匀 τ-grid；因此学习 θ 就等价于学习在哪里加密 timestep。这个建模改变了 schedule 的身份：它不再是手工 grid，而是沿反向采样轨迹分配计算预算的控制策略。

直觉上它有效，是因为 probability-flow ODE 的局部误差并不均匀。作者用 Euler 展开得到 leading-order residual 与 |Q(x,ψ)|θ² 成正比，于是 |Q| 成为局部 stiffness/error indicator，θ 则控制暴露给该局部误差的时间推进速度。和 prior 的本质区别在于，EDM/DPM 预设一个全局时间坐标，而 ART 尝试从轨迹误差信号中学习这个坐标；ART-RL 再把不可解的确定性控制问题变成可用采样轨迹训练的 actor-critic 问题。

Method

第一，ART 的时间重参数化解决“grid 如何连续可优化”的问题。通过把 ψ 作为状态、θ 作为控制，schedule learning 被放进 ODE 动力学本身，并用 ∫θdt=T 保证固定总物理时间预算。这个约束很关键：它避免把性能提升伪装成更多计算，而是强制进行预算再分配。

第二，Euler error surrogate 解决“优化什么”的问题。Q 汇总 vector field 对状态和时间的局部导数，|Q|θ² 惩罚在高敏感区域过快推进。这个目标不是最终生成质量的直接代理，而是一个数值分析驱动的 allocation bias；它把 schedule learning 从经验调参变成误差密度加权的控制问题。

第三，ART-RL 解决“高维怎么求”的问题。原始 HJB 在图像维度不可做，于是作者引入 Gaussian policy N(μ,λ/|Q|)，并证明最优随机策略的 mean 与原 ART 的最优 deterministic control 一致。这里随机化的作用主要是让 actor update 有非平凡方向；如果没有 θ−μ 这一项，确定性策略下的 moment condition 会退化。

第四，蒸馏成 time-only grid 是实际部署的关键。实验中 learned control 基本集中成平滑时间函数，作者因此把 policy mean 蒸馏为固定 timetable。这个步骤把 ART-RL 从“在线 adaptive controller”变成“离线学习 schedule”，从而推理时与 EDM/DPM 一样只读一串时间点。

Key Insight / Why It Works

最可能的核心贡献不是 actor-critic 本身，而是把 timestep schedule 解释为连续时间下的 compute allocation，并给出一个和局部 ODE 误差相关的可学习信号。换句话说，方法有效的主要原因是更好的 inductive bias：在固定 NFE 下，把采样步集中到 reverse dynamics 更敏感的区域，而不是按预设噪声坐标平均或半经验分配。

ART-RL 的随机控制理论是重要支撑，但在实际效果上可能更多是“搜索/拟合 schedule 的训练机制”。尤其是实验最终把 state-conditioned actor 蒸馏成 time-only grid，说明 benchmark 上的主要收益未必来自真正的在线状态自适应，而可能来自学到了一个比 EDM/DPM 更合适的全局时间坐标。这一点很重要：论文看起来像 adaptive control，但部署形态更接近 learned static schedule。

增益来源有一部分清楚：低 NFE 下 hand-crafted schedule 分配明显不优，ART 学到的 grid 能更早进入有效 denoising 区间或更好覆盖高误差段。另一部分不清楚：Euler surrogate 训练出的 schedule 对 Heun/RK4 也有效，说明理论 proxy 和实际 FID 改善之间并非严格一一对应；这可能是因为不同 solver 共享相似的“困难时间区域”，也可能只是 learned schedule 在 EDM family 上捕捉到了经验噪声坐标的更优变体。

这不是 scaling、retrieval 或 memory reuse 型工作，也不是靠更大模型/更多训练数据提升生成能力。它更像 test-time compute allocation + better time-coordinate inductive bias。所谓 RL 也不应理解为 agent 学会复杂规划；这里没有长期语义 planning，只有连续控制视角下的时间速度场优化。

Relation To Prior Work

最接近的路线有三类。第一类是 hand-crafted timestep schedules，如 Uniform、EDM、DPM/log-SNR grids；ART 与它们共享“通过时间坐标改变离散点”的思想，但区别在于 ART 给这个坐标一个误差驱动的优化目标，而不是预设函数族。第二类是 adaptive ODE solvers；ART 表面上也在自适应步长，但它不是传统局部误差控制器，而是离线学习一个可复用的 diffusion schedule，并保持固定 NFE。第三类是 continuous-time RL/stochastic control；ART-RL 直接继承了 Gaussian randomized policy、martingale moment condition 和 actor-critic 理论。

看似新的部分中，时间重参数化和 Lagrangian budget constraint 都是控制/数值分析里成熟思想；Gaussian randomized control 也有明确前史。实质创新在于把这些工具嵌到 diffusion sampler 的 timestep allocation 中，并证明随机化问题的 optimal mean 回到原确定性 ART。这篇属于“数值采样 schedule 从 heuristic 走向 learned control”的技术谱系，而不是 diffusion backbone 或 solver order 的创新。

Dataset / Evaluation

实验覆盖面相对强：有 analytical score 的一维例子用于隔离 score error，有小 MNIST score model，有 EDM pipeline 下的 CIFAR-10，也有跨 AFHQv2、FFHQ、ImageNet-64 和 EDM2 ImageNet-512 的迁移。设计上最有说服力的是固定模型、固定 solver、固定 pipeline，只替换 timestep grid；这直接验证了论文的核心变量。

跨场景实验支持“schedule 可摊销/可迁移”的 claim，但还不能完全证明它学到了普适 adaptive law。因为最终使用的是 distilled static grid，且多数图像实验仍围绕 EDM/EDM2 family；这些 pipeline 可能共享相似噪声参数化和误差结构。文中没有充分说明在强 CFG、文本条件生成、视频扩散、不同噪声参数化、真实 latency 约束或高度非 EDM 的 sampler 中是否仍成立。实验主要证明了 learned schedule 是强 drop-in grid，不足以证明 state-conditioned adaptive control 是必要的。

Limitation

最大限制是理论目标和实际评估目标之间有明显 gap。ART 的 objective 来自 Euler local error surrogate，但实验中很多收益出现在 Heun、RK4 和 FID 指标上；这说明理论解释有启发性，但不是完整因果链。增益来源不清：到底是 Q-based error allocation、actor-critic 训练、蒸馏后的平滑 schedule，还是对 EDM schedule 的数据驱动微调，论文没有彻底拆开。

第二，方法依赖 Q，而 Q 涉及 score 的空间/时间导数；高维真实模型中这可能昂贵、不稳定或需要近似。文中用 |Q|∨ε 处理退化，但 Q 噪声、估计误差和训练稳定性对最终 schedule 的影响未充分说明。

第三，所谓 adaptive 的上限值得怀疑。实验显示 policy 几乎 collapse 到 time-only schedule，这对部署是好事，但也削弱了“状态反馈控制”的必要性。如果绝大多数收益来自全局时间坐标，那么更简单的 schedule parameterization 或 black-box grid optimization 可能也能达到接近效果。

第四，transfer 结果强但边界不清。CIFAR-trained schedule 转到 EDM2/ImageNet-512 很有价值，但仍可能依赖 diffusion 噪声路径和 EDM-family pipeline 的重叠结构。不能据此直接推断到文本到图像、视频、多步 guidance 或 SDE sampler。核心泛化可能是真实存在的时间结构，也可能是 benchmark/pipeline overlap 下的 schedule prior 复用。

Takeaway

• 最值得记住的不是 ART-RL 的算法细节，而是 timestep schedule 可以被视为 fixed-budget compute allocation，并且这个 allocation 应该由 reverse dynamics 的局部误差结构驱动。
• 这篇推动的方向是 learned sampler geometry：不改模型、不改 solver，只学习时间坐标，也能获得可观收益；未来 schedule 可能会像 noise schedule 或 sampler order 一样成为可训练组件。
• 可迁移 insight 是：很多 diffusion inference trick 可以重写为“在某个连续变量上重新分配有限计算”，一旦找到合适的局部代价，就能用控制/优化方法学习，而不是手工调坐标。
• 下一步真正值得做的是 solver-aware objective、条件生成/guidance 下的 schedule learning，以及验证 state-conditioned schedule 是否在非图像或强非平稳任务中真的超过 distilled static grid。

一句话总结

这篇论文把 diffusion timestep schedule 从手工噪声坐标选择推进为误差驱动的连续时间控制问题，真正贡献是用 learned time reparameterization 做固定预算下的采样计算分配，而不是提出新的生成模型或新 solver。