精读笔记

Problem Setting

【DiffusionVS: A Generative Framework for Robust Visual Servoing Based on Diffusion Policy】（arXiv preprint / 2026）

这篇论文实际解决的不是“如何从图像预测相机速度”这个表层问题，而是 end-to-end visual servoing 在闭环部署时的两个硬问题：动作时间不一致导致的抖动，以及策略一旦偏离专家轨迹后无法恢复。传统 IBVS 的瓶颈是局部收敛域、interaction matrix 奇异、camera retreat 和特征可见性；PBVS 的瓶颈是深度、模型和标定依赖。学习式视觉伺服本来想绕开这些几何脆弱性，但常见做法把视觉误差到速度的映射压成 deterministic one-step regression，结果在近目标小误差区间尤其容易被观测噪声放大。

关键矛盾是：视觉伺服需要闭环稳定和可恢复性，但监督学习数据通常只覆盖“正确轨迹”；模型测试时却会访问由自己错误动作诱导出的状态。论文试图同时处理这两个矛盾：用 diffusion action sequence 改善动作平滑性，用在线交互数据补足偏离轨迹后的纠偏状态。

Motivation

已有路线不够的地方不在 backbone 表达能力，而在控制建模假设。回归式视觉伺服默认当前观测对应一个确定速度，但闭环系统里相邻帧的动作必须连续、误差收敛阶段必须对噪声低敏感、偏离专家分布后还要能恢复。单步 MLP/CNN/GNN 回归头没有显式约束这些性质。

作者真正抓到的缺口是：视觉伺服的失败常来自 distribution shift under self-execution，而不是离线验证集上的平均预测误差。Diffusion Policy 之所以看起来合适，是因为它把动作建模为条件去噪过程，并生成动作序列；这天然引入 temporal smoothing 和 denoising robustness。online training 则补上了静态 expert dataset 缺少的 corrective states。换句话说，论文的动机更接近“把 imitation learning 做成闭环数据聚合 + 序列生成”，而不是“扩散模型比回归模型更高级”。

Core Idea

核心思想是把视觉伺服中的控制律学习从 point estimate 改成 conditional generative control。输入仍然是类似 IBVS 的图像平面特征误差，但输出不再是一个瞬时速度，而是一段未来速度序列；模型不是直接拟合速度，而是学习从噪声中恢复 PBVS-style action trajectory。这样做改变了信息流：几何专家知识不在推理时显式求 Jacobian 或深度，而是在训练时通过 PBVS expert 蒸馏进策略；测试时只保留图像坐标条件和生成式动作先验。

和 prior 的本质区别在于，它不是试图学一个更好的 image-to-velocity regressor，而是引入了动作序列分布的先验。扩散过程在这里的价值主要不是多模态生成，而是把动作空间中的局部扰动训练成可恢复的 denoising dynamics；这对视觉伺服的近目标抖动和真实相机噪声尤其有用。online data aggregation 则进一步把训练分布对齐到策略实际会访问的闭环状态，这可能比扩散本身更关键。

Method

方法中真正有机制必要性的部分有四个。

第一，使用归一化图像坐标作为条件，而不是像素或显式 3D pose。它解决的是相机内参变化和深度依赖问题，使推理接口保持 IBVS-like；但监督信号仍来自仿真 PBVS，所以这不是完全摆脱 3D 几何，而是把 3D 依赖从部署阶段转移到训练阶段。

第二，生成未来 H 步动作序列，而不是单步速度。它解决的是闭环动作不连续问题，核心变化是让策略在输出层面具备短时 horizon 的一致性。这里的 horizon 不是长期规划，更像 temporal regularization。

第三，速度被拆成方向和幅值，并对幅值做非线性重标定。这个设计很工程，但重要：视觉伺服早期速度大、末端速度小，直接 MSE 会让模型忽略收敛阶段；而真实失败往往发生在近目标小速度区间。该处理强化了低速段学习，是最终稳定性的重要辅助。

第四，在线训练让当前策略驱动仿真环境，再用 simulator privileged state 计算 PBVS expert velocity 存入 replay buffer。它解决的是 offline expert dataset 缺少恢复轨迹的问题。本质上这是 DAgger-style imitation，而不是强化学习；文中称 inspired by RL，但没有真正 reward optimization。

Key Insight / Why It Works

最可能的核心贡献不是“把 diffusion 用到视觉伺服”这个标签，而是“序列化动作建模 + 学生分布上的专家监督”这两个机制的组合。Diffusion 给动作输出增加了平滑生成先验；online replay buffer 给状态分布增加了纠偏覆盖。前者降低局部噪声敏感，后者降低闭环分布偏移。

我倾向于认为主要增益来源排序是：online data coverage > action sequence modeling / temporal consistency > diffusion denoising regularization > 网络结构本身。论文中的 static dataset ablation 强烈暗示数据覆盖是核心；真机中 regression baseline 失败，也更像是没有学到 OOD recovery，而不只是回归头表达能力不足。

扩散的作用更像一种 action-space smoothing 和 test-time compute regularizer，而不是产生复杂推理。它没有形成长期状态建模，也没有显式规划可见性、避障或奇异性；生成的速度序列仍是 PBVS expert 的局部行为蒸馏。所谓 generative robustness 很可能来自训练时噪声注入和反复去噪对动作流形的投影，而不是模型理解了视觉伺服几何。

需要警惕 hidden supervision：训练 expert 使用仿真中的真实 3D 点坐标，避免了 pose estimation error；因此模型推理时看似只用 2D 特征，但能力来自大量 privileged PBVS labels。这个设置合理，但不能被解读为完全无几何监督。另一个不清楚的地方是 diffusion 与 sequence regression 的公平性：如果给 regression baseline 同样的动作序列输出、temporal ensembling、在线 DAgger 数据和速度重标定，扩散独立贡献可能会缩小。文中未充分说明。

Relation To Prior Work

这篇工作最接近三条谱系的交叉：经典 IBVS/PBVS、end-to-end neural visual servoing、Diffusion Policy / imitation learning。它的接口像 IBVS：输入是图像平面特征；监督像 PBVS：使用 3D 点误差生成专家速度；训练范式像 DAgger：在学生访问状态上查询专家；动作头则来自 Diffusion Policy。

相对传统视觉伺服，实质差异是它不在测试时显式构造 interaction matrix 或估计深度，而是把几何控制律蒸馏成数据驱动策略。相对已有神经视觉伺服，实质差异不是更强感知，而是输出分布建模从 deterministic single-step regression 转成 conditional sequence denoising。相对原始 Diffusion Policy，新增点是把视觉伺服的几何专家和归一化特征接口接入扩散策略，并通过在线仿真交互处理闭环分布偏移。

看似新的部分里，online training 其实是 imitation learning 中很成熟的 data aggregation 思想；diffusion decoder 替换 regression decoder 也是 Diffusion Policy 在新任务上的迁移。实质创新在于把这些机制组织到视觉伺服的特殊矛盾上：低维几何观测、PBVS privileged supervision、闭环稳定性和 sim-to-real 噪声鲁棒。

Dataset / Evaluation

评估覆盖了仿真和真实 AUBO-i5 机械臂，包含与同结构 regression baseline、GraphVS/GraphDiffVS、online vs static training 的比较。实验基本支持论文的核心 claim：扩散式动作生成在该视觉伺服设置下比直接回归更稳，在线交互数据比静态专家轨迹更能迁移到真实世界。

但任务覆盖较窄：主要是单 AprilTag board、稀疏四角点、固定目标结构、随机相机位姿。它验证的是“在可检测稳定特征和相对受控的 eye-in-hand 场景下，DiffusionVS 有更好的闭环鲁棒性”，而不是一般视觉伺服问题都被解决。跨物体、跨特征类型、遮挡、误检测、特征丢失、动态目标、多目标任务都没有充分评估。

benchmark 对 diffusion 独立贡献的验证不够彻底。虽然有同结构回归对比，但没有看到强 temporal regression、sequence policy、DAgger-trained regression、MPC-style smoothing 等更直接的机制对照。因此现在的 evidence 更能证明“这一整套 pipeline 有效”，不能精确证明“扩散是主要原因”。

Limitation

方法成立依赖几个强前提。第一，训练时能在仿真中获得真实 3D 点坐标并构造 PBVS expert；如果目标几何未知、仿真不准或特征不稳定，监督质量会下降。第二，观测是干净的 AprilTag corners；这绕开了真实视觉伺服中大量困难，如遮挡、错误匹配、光照、局部可见性和非刚体目标。第三，泛化主要来自采样分布覆盖，而不是抽象几何推理；当测试状态超出 pose sampling 和图像点分离范围时，模型上限会很快暴露。

扩散带来的计算开销虽然文中报告可接受，但它的收益是否超过更简单的 temporal ensemble / low-pass filtering / sequence regression 仍不清楚。所谓 robust generative framework 可能相当一部分是 engineering + scaling：更多在线数据、更丰富状态覆盖、更好的速度归一化、更平滑的动作输出。增益来源不清。

在线训练也把问题转移到了仿真数据生成和 expert labeling 上。它不是从真实交互中自主学习，而是在 simulator 中用 privileged PBVS 持续标注学生访问状态。因此 sim-to-real 成功依赖仿真随机化和观测接口足够接近真实；这在 AprilTag 场景成立，但不保证对自然图像目标成立。

Takeaway

• 最值得记住的不是“视觉伺服可以用扩散模型”，而是：闭环控制任务中，训练分布必须覆盖策略自己犯错后的状态；否则离线 expert dataset 再大也可能是冗余的。
• 第二个 insight 是，低维几何控制任务也能从 action diffusion 受益，但收益更可能来自动作流形投影和时间一致性，而非高层语义生成。
• 未来值得比较的是 diffusion policy vs sequence regression vs temporal ensembling 在相同 online data aggregation 下的边际收益。
• 第三，PBVS expert + IBVS-like observation 是一个有迁移价值的范式：训练时用 privileged geometry 提供稳定监督，部署时只用轻量 2D 特征闭环控制。

一句话总结

DiffusionVS 是一篇把视觉伺服从单步回归推进到“在线数据聚合 + 条件动作序列去噪”的工作，真正贡献在于改善闭环状态覆盖和动作时间一致性，而不是证明扩散模型具备新的几何推理能力。