IEEE Transactions on Robotics

Achieving Subpixel Platform Accuracy With Pan–Tilt–Zoom Cameras in Uncertain Times

作者：Martin Vonheim Larsen, Kim Mathiassen · 机构：Defence Systems Division, Norwegian Defence Research Establishment, Kjeller, Norway; Department of Technology Systems, University of Oslo, Kjeller, Norway

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：628-646

传感器视觉定位建图状态估计

精读笔记

Problem Setting

《Achieving Subpixel Platform Accuracy With Pan–Tilt–Zoom Cameras in Uncertain Times》（IEEE Transactions on Robotics / 2025）关注的不是一般 PTZ 标定，而是长焦低成本 PTZ 在运动中能否给出像素到平台方向的高精度映射。真正难点有三层：第一，窄 FOV 下 rotation-only 视觉自标定缺少角尺度，焦距和旋转幅度高度耦合；第二，低成本 PTZ 的 pan/tilt telemetry 虽然提供角尺度，但时间不同步、轴系不理想、编码器可能有尺度误差；第三，rolling shutter 在长焦运动下不再是小扰动，会直接污染 landmark 约束。以前方法通常只解决其中一块：image-only calibration 解决不了窄 FOV 可观性，传统 PTZ calibration 假设同步或较理想机械，RS calibration 又常把焦距当已知或依赖宽 FOV。本文的关键矛盾是：视觉需要 pan/tilt 角尺度来恢复焦距，但 pan/tilt 要被视觉可靠利用又必须同时解决同步和 RS。

Motivation

作者真正抓住的缺口是：低成本 PTZ 并不是没有有用的外部测量，而是这些测量处在“有信息但不可信”的状态。pan/tilt 读数有足够高分辨率，可以在窄 FOV 下提供 image-only 方法缺失的 angular scale；但如果不估计 clock offset 和 rolling shutter，运动时这些读数会把系统带偏。已有路线要么忽略 telemetry，导致窄 FOV 退化；要么用 telemetry 但假设同步和机械理想，无法落到低成本设备；要么用多 zoom / panorama 把问题变成数据覆盖问题，但窄 zoom 与宽 zoom 的 landmark linkage 本身脆弱。本文动机不是设计更强 frontend，而是构造一个把视觉、telemetry、机械和时间放在同一个估计问题里的模型，让 pan/tilt 信息以可校正的方式进入 BA。

Core Idea

核心思想是把 PTZ calibration 改写成“带 pan/tilt 角度观测的 direction-only rotation BA”。场景中的点不估深度，只估平台坐标系下的方向；每帧不估任意 SO(3)，而估两轴 pan/tilt 状态；全局估计焦距、径向畸变、RS line duration、pan/tilt 轴、telemetry scale 和 clock offset。这个建模引入了很强的 inductive bias：相机运动只能由两个固定旋转轴生成，telemetry 是 noisy measurement 而不是 ground truth，RS 是曝光行时间偏移而不是后处理畸变。

和 prior 的本质区别在于信息流被重新组织了。image-only 方法从图像间 homography / landmark tracks 推相机运动和内参，窄 FOV 时角尺度漂掉；PTCEE 则用 telemetry 固定运动尺度，用视觉反过来校正 telemetry 的时间和机械误差。它不是单纯 sensor fusion，而是在可观性层面给 rotation-only calibration 加了一个外部角度尺。这个角度尺不需要绝对完美，但它的 scale 不能完全未知，否则焦距-角尺度歧义会重新出现。

Method

方法上值得保留的机制只有几个。第一，directional landmarks：远距离应用中平移和深度基本无意义，强行做 3D SLAM 只会引入不可观自由度；方向 landmark 让 BA 只解释角度一致性，问题更贴合 PTZ。第二，两轴机械模型：相机方向由 pan 轴和 tilt 轴的顺序旋转生成，轴可以偏斜，telemetry 可以有尺度因子；这解决的是低成本云台“不像理想云台”的系统误差。第三，clock offset 作为全局变量：通过 pan/tilt buffer 插值，把某一图像时刻对应的 telemetry 预测成 factor，并对 offset 求导；这解决的是运动中 telemetry 与图像错位导致的 pointing error。第四，RS 进入 projection factor：不是先 rectification，而是在 landmark 投影时用该观测行对应的曝光时刻外推相机方向；这避免 RS 误差被错误归因到焦距、畸变或轴系。第五，frontend 只是提供足够好的 landmark tracks 和 OE；它是必要工程，但不是论文最核心的理论贡献。真正的 backend 是联合可观性设计。

Key Insight / Why It Works

最重要的 insight 是：窄 FOV rotation-only calibration 的失败不是优化器问题，而是信息论问题——图像只看到局部角变化，焦距变化和旋转尺度变化几乎等价。pan/tilt telemetry 恰好提供了外部角尺度，因此能打破这个歧义。但这个结论只在 telemetry scale 可信时成立；一旦 pan/tilt scale 也自由，焦距和 scale 的耦合会再次主导估计。论文的 soft-PTCEE 结果实际上很好地暴露了这一点：它能保持 map/self-consistency，但 absolute focal accuracy 会掉。

第二个关键 insight 是联合估计比级联校正更重要。clock offset、RS line duration、focal length 和 pan/tilt trajectory 在运动图像中相互耦合：时间错位会表现为方向误差，RS 会表现为行相关方向误差，焦距误差会表现为角尺度误差。如果先分开估计，很容易把一个误差吸收到另一个参数里。PTCEE 把这些量放进同一个 factor graph，使视觉 residual 可以在多个物理解释之间竞争，最终由 telemetry 和 landmark consistency 共同约束。

我认为核心贡献是“pan/tilt-aided narrow-FOV observability + joint temporal/RS/mechanical calibration”的组合，而不是 SVO-style frontend。frontend 主要是 engineering proof-of-concept；它证明可以不用 calibration target 获取 tracks，但方法增益不是来自 semidirect tracking 本身。真实实验中 OE 模式显著好于 PT 模式，也说明高精度主要来自 landmark map 的 test-time visual alignment，而 PT mode 的绝对 pointing 仍受未建模硬件误差限制。因此所谓 subpixel platform accuracy 更准确地说是：在有静态 landmark map 且 OE 可用时，系统能获得 subpixel self-consistent orientation；仅靠 telemetry 的 platform accuracy 还没有完全被证明。

Relation To Prior Work

它最接近三条谱系：rotation-only self-calibration / PTZ panorama-SLAM、PTZ mechanical calibration、visual-inertial/temporal calibration。和经典 rotating-camera self-calibration 的差异在于引入了 pan/tilt 角度观测来补足窄 FOV 可观性；和多 zoom PTZ calibration 的差异在于不依赖宽窄 zoom 之间稳定 landmark linkage；和带 IMU/外部姿态的 calibration 类似之处是做 temporal-spatial joint calibration，但这里的外部传感器不是 IMU，而是受机械约束的两轴 angle telemetry。

看似新的部分中，factor graph、direction landmarks、Huber、SVO-style semidirect frontend、rolling-shutter row-time model都不是全新思想，更多是已有工具的针对性组合。实质创新在于把它们组织成一个适合低成本窄 FOV PTZ 的可观性结构：pan/tilt telemetry 不再只是后端姿态输入，而是参与内参、时间、机械和 RS 的联合估计。这是比“又一个 PTZ 标定 pipeline”更有价值的地方。

Dataset / Evaluation

评估基本支持核心 claim 的主要部分：仿真清楚验证了 image-only 在窄 FOV 下焦距估计退化，pan/tilt-aided BA 能稳定；完整仿真覆盖了 distortion、RS、clock offset、轴偏和 scale prior，说明 backend 在理想 Gaussian frontend 下可工作；真实 Axis PTZ 长焦实验验证了在实际无同步、RS、强畸变和大气扰动下可以达到像素级一致性。

但 evaluation 也有明显边界。真实数据只有一个相机、一个场景、一个 zoom setting，且主要通过远处 AprilTag 重投影间接评价 platform mapping；这更像是系统可行性验证，不是跨设备泛化证明。OE 模式的好结果依赖同一场景 landmark map，验证的是 local self-consistency；PT 模式误差仍大且有结构，说明“仅凭同步后 telemetry 实时 mapping”的绝对精度 claim 还不够强。benchmark 没有充分分离 focal / nonsquare pixel / distortion / mechanical backlash / encoder nonlinearity 等误差来源，因此真实世界增益归因仍不完全清楚。

Limitation

最根本限制是可观性没有被彻底消灭，只是被 pan/tilt scale prior 移到了 telemetry 上。如果 pan/tilt 编码器存在未知尺度偏差，焦距绝对值仍不可可靠恢复；此时系统只能得到自洽 map，而不是绝对 platform accuracy。第二，纯旋转和远距离假设很强：近距离结构、云台旋转中心不在光心、bullet PTZ 的平移效应都会破坏方向-only 模型。第三，固定 zoom 是实际部署中的大限制；虽然作者说 factor graph 可扩展到 zoom-parametric intrinsics，但文中未充分说明连续 zoom 下的可观性和初始化。第四，intrinsic model 偏简单，真实实验已经暗示 square pixel / 单焦距 / 二次径向畸变可能不足，PT 模式结构性误差可能就是模型欠表达。第五，frontend 在初始化阶段不处理严重 RS 和畸变，遇到快速运动、motion blur、非静态背景时可能失败；这部分目前更像工程原型。

还需要警惕 claim 的语义：subpixel accuracy 在 OE mode 下主要来自 map-based visual alignment，是一种 test-time compute + memory reuse；它不等价于裸 pan/tilt telemetry 的 subpixel absolute pointing。对于需要跨场景、遮挡后立即恢复、或多传感器绝对融合的应用，PT mode 的残差结构才是更关键的上限。

Takeaway

  • 1）窄 FOV rotation-only calibration 不能靠更好的 BA 硬解，必须引入角尺度；PTZ telemetry 是天然但带毒的角尺度，需要联合校毒。
  • 2）低成本传感器系统的关键不是把某个传感器当真值，而是把时间、机械、读出模型和视觉残差放进同一个可观性结构里。
  • 3）这篇最可迁移的思想是：当一个外部测量能解决可观性但本身有系统误差时，不要先标定再使用，而应让它作为带参数的 measurement model 参与主任务优化。
  • 4）未来真正值得做的是更丰富的真实硬件模型：连续 zoom、非方形像素、更高阶畸变、编码器非线性/backlash、非纯旋转云台，以及能在动态背景和严重 RS 下稳定初始化的 frontend。

一句话总结

这篇论文把低成本窄 FOV PTZ 标定从 image-only rotation calibration 推进到 pan/tilt-aided joint temporal–mechanical–RS direction BA，本质贡献是用有噪角度 telemetry 打破焦距-旋转尺度不可观性，同时承认并联合估计 telemetry 自身的不可靠性。