IEEE Transactions on Robotics

RAID-AgiVS: A Bioinspired Reciprocal Perceptual Control Framework for Agile Visual Servo

作者：Zeyu Guo, Jun Yang, Shihua Li, Lei Guo, Wen-Hua Chen, Karl John Friston · 机构：School of Automation, Southeast University, Dhaka, Bangladesh; Key Laboratory of Measurement and Control of CSE, Ministry of Education, Nanjing, China; Department of Aeronautical and Automotive Engineering, Loughborough University, Loughborough, U.K.; School of Automation Science and Electrical Engineering, Beihang University, Beijing, China; Department of Aeronautical and Aviation Engineering, Hong-Kong Polytechnic University, Hong Kong, China; Wellcome Centre for Human Neuroimaging, University College London, London, U.K.; Research and Development Department, VERSES AI Research Lab, Los Angeles, CA, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：184-203

运动规划控制操作传感器飞行机器人

精读笔记

Problem Setting

这篇论文实际处理的是 agile visual servo 中的“信息带宽不足 + 动态不确定 + 感知控制割裂”的联合问题。视觉伺服系统的控制端希望以较高频率获得位置、速度、扰动等状态，但相机/图像处理链路只能低频输出部分状态；同时目标运动和平台本体扰动会把低频反馈中的误差放大成滞后、超调甚至丢目标。

以前方法卡在两个方向：鲁棒控制、DOB、MPC 可以处理不确定性，但通常默认反馈足够及时，或者只是把低频测量当作控制输入；滤波/预测可以补偿采样慢，但如果不把控制目标和感知过程耦合起来，预测误差会在高机动场景中迅速影响闭环。关键矛盾是：视觉链路的信息更新率低于任务所需控制带宽，而控制律又不能凭空获得真实状态。

Motivation

作者的核心观察是，传统视觉伺服把 perception 和 control 视为串联模块：先估计，再控制。这种结构下感知只是被动监测，控制只能消费已经给出的测量，无法利用目标偏好主动组织感知误差。active inference 提供了一个将 belief update 和 action update 放进同一自由能目标的框架，但它在机器人视觉伺服里有一个现实短板：需要足够密集的 sensory stream。

所以本文的关键缺口不是“缺一个更强控制器”，而是缺一个能让 active inference 在低频视觉系统上可用的信息接口。RSM 的动机正是补这个缺口：在真实视觉帧之间生成高频软测量，使 RPC/AIC 不再被相机帧率直接锁死。

Core Idea

RAID-AgiVS 的核心思想是把视觉伺服从“低频视觉测量驱动的控制”改成“高频预测-校正感知流驱动的主动推断控制”。RSM/APO 在相机慢采样之间用 sampled-data 模型递推生成虚拟输出，并在真实视觉帧到来时校正；RPC/AIC 则将真实测量、软测量、内部 belief 和目标 prior 一起放进 variational free energy，通过 perception update 和 action update 形成闭环。

这个方法引入的 inductive bias 很明确：目标误差应该按简单稳定参考模型指数衰减，即 f(μ)=-μ。控制不再直接追踪原始误差，而是追踪“测量与目标偏好共同约束下的 belief prediction error”。本质区别在于信息流重组：prior 不只是控制器目标，soft sensing 不只是滤波器输出，二者共同决定控制增量。

Method

1. RSM/APO：解决视觉反馈低频的问题。APO 以 sampled-data 形式建模视觉伺服的混合动态，在慢视觉帧之间用模型预测产生 soft measurements，并用真实视觉帧周期性校正。其核心变化是把 20 Hz 视觉输出转化为 100 Hz 可供控制使用的数据流；这更像 model-based test-time compute，而不是传感器本身变快。

2. Precision-weighted fusion：解决真实测量可靠但慢、软测量快但可能漂移的冲突。论文用 variance/precision 将低通差分得到的测量和 APO 软测量融合。这个机制的关键不是公式，而是允许系统在“信任真实视觉”和“信任模型预测”之间调权。

3. RPC/AIC：解决感知与控制级联割裂的问题。VFE 中同时包含 sensory prediction error 和 prior dynamics error；belief update 让内部状态向测量和 prior 对齐，control update 让动作改变未来测量以降低误差。实现上控制律是对 prediction errors 的加权积分更新。

4. 平台适配：UAV 用三阶 generalized motion，对应二阶位置环和未知加速度扰动；Manipulator 用二阶模型，因为末端速度可直接作为输入。这里的模型阶数选择是必要的工程适配，不是核心理论创新。

Key Insight / Why It Works

最可能真正起作用的是 RSM 提供的高频闭环数据，而不是 active inference 的生物学叙事。视觉伺服的瓶颈首先是 sampling bottleneck；一旦把慢视觉帧之间的状态用模型递推补齐，控制器就能以更高频率抑制滞后和超调。Case 频率越高，RAID-AgiVS 相对 AIC 的增益越大，这说明核心收益很大程度来自 test-time model rollout / data densification。

RPC 的价值在于提供了一个比普通 PID 更结构化的误差组织方式：内部 belief 不完全等于测量，而是被目标 prior 拉向稳定参考行为；控制更新使用 belief-measurement prediction error，而不是直接用原始误差。这相当于在控制律里加入了一个 latent state / preference prior，对动态不确定性有一定缓冲。

但需要直接判断：active inference 部分在实现上并没有完全发挥复杂 probabilistic inference 的能力。∂y/∂u 被常数化，variance 多数离线调参，generative model 极简单，控制律形式与增量 PID/PI 有明显同构关系。因此 RPC 可能主要提供了 better inductive bias 和统一表述，而非某种本质上更强的推断能力。

RSM 是核心贡献，RPC 是有用但贡献归因需要更细 ablation 的部分。若换成高质量 sampled-data observer + LQG/DOB/MPC，在同样 100 Hz 软测量输入下是否仍明显输给 RPC，文中未充分说明。

Relation To Prior Work

最接近的技术谱系有三条：sampled-data visual servo / observer-based visual servo、DOB/robust/MPC 控制、active inference control。本文不是从零发明新控制理论，而是把已有 sampled-data observer 思路与 AIC/RPC 结构拼接到视觉伺服的低频反馈瓶颈上。

和 DOB/robust control 的差异在于，本文不只估计扰动或增强鲁棒性，而是试图提高有效感知带宽；和 Kalman/predictive filtering 的差异在于，soft measurements 不只是被级联给控制器，而是进入自由能形式，参与 belief-action 更新；和普通 AIC 的差异在于，本文承认 AIC 在视觉伺服中缺数据，因此先构造 RSM 作为前提。

实质创新在于问题组合和系统级闭环设计：把 low-rate vision 的 hybrid dynamics 显式放进 observer，并把 observer 输出作为 active inference 的高速 sensory stream。看似新的“bioinspired reciprocal perceptual control”部分，本质上是 active inference + preference prior 的机器人控制重组；新意更多在落地到真实低频视觉伺服，而不是理论形式本身。

Dataset / Evaluation

评估是这篇论文比较强的部分：不是纯仿真，而是在 UAV 和 6-DoF UR5 两个真机平台上验证。UAV 任务包含不同频率圆周目标运动，能直接测试高机动目标下的采样瓶颈；Manipulator 任务更稳定、更接近工业视觉伺服，用来验证在低阶、低扰动平台上方法是否仍有收益。

实验基本支持作者的核心 claim：当目标运动频率升高、视觉反馈成为瓶颈时，RAID-AgiVS 相比 AIC/PID/MPC 的优势扩大；当平台更理想、扰动更简单时，优势仍在但更像带宽增强带来的收益。最关键的证据是 UAV 高速 Case 中其他方法失锁而 RAID-AgiVS 保持跟踪。

限制也明显：场景视觉复杂度不高，目标是 AprilTag/结构化目标，遮挡、检测失败、光照变化、非平滑机动都没有充分覆盖。benchmark 验证了“低频视觉 + 规则运动目标”的 claim，但尚不能证明对复杂开放视觉伺服任务有强泛化。

Limitation

第一，RSM 不创造真实信息，只是在模型假设下进行帧间外推。它依赖低阶运动模型、控制输入可知、扰动导数有界、真实帧足够频繁校正。一旦模型 mismatch 增大或视觉长时间丢失，软测量会高频传播错误，可能比低频真实测量更危险。

第二，APO 稳定性证明给的是收敛到保守边界，且依赖 Hurwitz 增益、T_fast 条件、扰动上界等假设。实际增益选择仍是经验调参；文中也承认高阶 APO 会带来噪声放大和增益选择困难。增益来源不清，scalability 到更高维、更复杂接触/非线性任务并不显然。

第三，RPC 的理论包装强于实现实质。generative model 仅用 f(μ)=-μ，prior 很简单；partial derivative 被常数化；variance learning 没有在主实验中启用。所谓主动推断更像一种带 prior 的增量误差控制，而非完整的 probabilistic planning。

第四，泛化证据有限。跨 UAV/Manipulator 说明框架有一定平台适配性，但任务视觉端高度结构化，目标运动也相对规则。对于多目标、遮挡、语义视觉、复杂交互场景，方法是否仍成立文中未充分说明。

Takeaway

  • 1. 低频视觉伺服里，提高有效感知带宽往往比换一个更复杂控制器更关键；RSM/APO 这类帧间模型递推是值得迁移的核心 insight。
  • 2. Active inference 在机器人控制中有价值，但前提是 sensory stream 足够密集；否则它会被观测瓶颈限制。
  • 本文真正推动的是“先构造可用感知流，再做 RPC/AIC”。
  • 3. Preference prior 可以作为控制系统中的结构化 inductive bias，用来把测量噪声、状态估计和目标行为统一起来；但不要高估其推断能力，实际效果需要和强 observer + conventional controller 做严格归因。

一句话总结

RAID-AgiVS 是一篇把 sampled-data 软传感器与 active-inference 控制耦合起来解决低频视觉伺服带宽瓶颈的系统论文，真正贡献在于高频感知流重构及其与 preference-driven 控制的闭环组织，而不是单纯提出一个新控制律。