精读笔记
Problem Setting
[Learning to See While Learning to Act: Diffusion Models for Active Perception in Robot Imitation]（arXiv preprint / 2026）
这篇论文实际解决的是 imitation learning 在 partial observability 下的 perception-action coupling，而不是一般意义上的更强 visuomotor policy。具体说，机器人初始视角看不到关键物体或目标区域，必须先移动 wrist camera 获取信息，再预测 keyframe action。真正困难点在于，demonstration 通常只给动作轨迹，不给“为什么这个视角有用”的监督；而在遮挡场景中，动作预测质量取决于尚未获取的视觉证据。
以前方法卡在一个共同假设：视觉输入是外部给定的。固定视角 BC 假设信息已可见；多视角方法假设足够多的固定 camera 可以覆盖 workspace；被动 view selection 假设候选视角里已经有 informative one；zoom-only 方法只能提高局部分辨率，不能绕开遮挡。关键矛盾是：manipulation 需要精确局部证据，但 search 需要全局不确定性消解；有限 demonstration 下很难同时学到这两者。
Motivation
已有路线不够的根本原因不是 backbone 不强，也不是 action head 不够 multimodal，而是 perception 被当成条件变量，而非 policy 可控制的变量。对 occluded manipulation 来说，最有价值的信息常常不在当前 observation 中；因此仅从当前图像回归 action，本质上是在让模型 hallucinate hidden state。
作者的核心观察是 diffusion denoising 本身提供了一个自然的 iterative refinement axis：早期 action estimate 粗糙但可用于决定大致往哪里看，后期 action estimate 更精确，可驱动相机靠近目标以获得细粒度几何。缺的不是另一个 gaze policy 或 RL reward，而是把 viewpoint acquisition 放进 action generation loop，让“看”成为 denoising 的一部分。
Core Idea
核心思想是把 diffusion trajectory 同时解释为 action trajectory 和 camera trajectory。训练时，每个 keyframe action 不只监督最终动作，还通过一个 action-anchored camera construction 生成从 global overview 到 target-centric view 的相机路径；模型在不同噪声水平下看到不同视角，并学习如何在该视角下 denoise camera-frame action。推理时，当前 action estimate 反过来生成下一步 camera pose，于是 observation distribution 不再固定，而是由模型自己的预测动态决定。
这个建模方式改变了 imitation learning 的信息流：prior 通常是 observation → action；See2Act 变成 observation_t → action estimate_t → camera pose_{t-1} → observation_{t-1}。它引入的 inductive bias 很强：有用视角通常位于目标 action frame 附近，且从全局到局部的连续相机运动是合理 curriculum。这使得方法可能比枚举多视角更 scalable，因为它不需要覆盖所有视角组合，而是用 action hypothesis 生成少量任务相关视角。
Method
方法可以压缩成三个必要机制。
第一，camera-frame action denoising。动作在当前相机坐标系下表示，而不是固定 world frame。这样模型看到的图像几何和动作坐标天然对齐，减少跨视角学习难度；同时相机移动会改变 action representation，使 viewpoint 和 action refinement 被绑定。
第二，action-anchored camera trajectory。最终相机 pose 由 keyframe action 自动生成：相机放在 action pose 附近并朝向 action frame；初始 pose 是 overview；中间 pose 通过 SE(3) 插值得到。这解决了没有 viewpoint label 的问题，但也引入了强假设：informative view 等价于 action-centric close-up view。
第三，active viewpoint inference。推理阶段不是一次性预测动作，而是每个 diffusion step 重新观测。当前 denoised action 估计决定下一相机位置，新视角再降低动作不确定性。这个闭环是方法的核心；其他网络结构和训练超参数基本是辅助。
Key Insight / Why It Works
最可能真正有效的是 representation alignment + test-time active evidence acquisition 的组合。camera-frame action 让视觉特征和动作误差在同一局部坐标系内被学习；action-anchored viewpoint 则把高维 view planning 压缩成“沿当前 action hypothesis 靠近并对准目标”的低维过程。这不是通用 active perception，但对 pick/place keyframe manipulation 是非常强的 inductive bias。
这里的“search”更像 hypothesis-driven retrieval，而不是显式 planning。模型先从 overview 形成一个 action hypothesis，然后移动相机验证/修正它；如果候选区域为空，denoising 可能跳到其他 hypothesis。这个过程看起来像 search，但没有维护 belief map、没有信息增益目标、没有长期记忆。它有效是因为任务结构允许：目标通常可由局部视角确认，且 action hypothesis 可以直接映射到 camera pose。
增益可能来自多方面混合，不能完全归因于 diffusion。核心贡献应是 viewpoint-action coupling，而不是 denoising loss 本身。部分收益可能来自 close-up observation 带来的分辨率提升；部分来自 simulation 中按 action 生成大量 viewpoint-conditioned training samples；部分来自 test-time 多次重新观测的 compute scaling。文中没有充分拆分这些因素，因此“learned active perception”这个说法需要谨慎理解：它更像把一个合理的 action-conditioned camera controller 嵌入 diffusion loop，并用 imitation loss 学会在这个闭环里稳定 denoise。
Relation To Prior Work
它最接近三条线：Diffusion Policy/C3DM 的 iterative action refinement，RVT/PerAct/Act3D 的 keyframe manipulation，以及 ViA/EyeRobot/SPARTN 的 active perception。和 Diffusion Policy 的本质差异是 denoising context 不再固定；和 C3DM 的差异是 camera motion 从 restricted zoom 扩展到 full 6-DoF，并且视角由 action estimate 动态生成；和 RVT/PerAct 的差异是不用固定多视角或完整点云，而是用单个主动视角序列替代被动空间覆盖。
看似新的部分中，keyframe action、diffusion denoising、多视角渲染、view interpolation 都不是新概念；实质创新在于把这些重组为一个闭环：action estimate controls perception, perception conditions next denoising step。它属于“test-time adaptive perception for visuomotor imitation”的谱系，不是纯生成模型创新。真正新增的信息是：用 action label 派生 viewpoint supervision，从而绕开显式 gaze annotation 或 RL reward。
Dataset / Evaluation
Evaluation 基本围绕核心 claim 设计：Ravens 遮挡任务用于诊断 active view 是否必要，RLBench 用来证明不是只在自造任务上有效，真实机器人用 digital twin 到 real depth transfer 验证 deployment plausibility。Ravens 的 baseline 设计比较有说服力，因为固定视角、多固定视角、被动选择、zoom-only 都被放在同一视觉 backbone 下比较，能够隔离出“主动改变视角方向”的价值。
但 evaluation 也有明显边界。Ravens 任务是为 occlusion/search 构造的，可能高度匹配 action-anchored camera bias；RLBench 虽覆盖更多任务，但仍是 keyframe manipulation regime；真实实验只有两个任务，并且假设 motion planner 成功、calibration 固定、digital twin 可用。它验证了 active viewpoint refinement 对遮挡和精密放置有用，但还没有证明方法具备开放环境下的通用主动感知能力。
Limitation
最大限制是方法把 viewpoint learning 的难题转移给了 action-anchored camera prior 和 renderer。训练需要从 object state 渲染任意视角 observation；真实部署需要 digital twin、深度相机、较好 calibration 和可执行相机轨迹。没有这些条件时，方法很难直接成立。
第二，泛化可能被高估。模型学习的是从 action hypothesis 到 useful close-up view 的结构，而不是通用 scene understanding。OOD 初始视角性能下降说明它仍依赖训练视角分布；在更复杂遮挡、需要多步记忆、目标不在 action-near viewpoint 中可见、或需要先移动障碍物再观察的任务上，当前闭环可能失败。
第三，所谓 active search 没有长期状态建模。多 rollout 选 pose-change variance 最小的结果，本质上是 stability heuristic，不是 principled uncertainty reduction。对于需要系统性探索多个隐藏区域的任务，它可能只是靠 sampling 和局部纠错，而不是形成 explicit search policy。
第四，增益归因不清。See2Act 同时改变了视角、坐标系、训练数据生成方式、test-time observation 次数和最终 observation resolution。文中未充分说明哪一项是主要来源。某些提升可能主要来自 engineering / scaling：更接近目标的 depth observation、更丰富的 rendered view augmentation、更多 test-time compute，而非 diffusion 模型本身的语义推理。
Takeaway
- 第一，active perception 可以不必作为独立 policy 学；在 keyframe imitation 中，可以把 viewpoint acquisition 嵌入 action refinement 的生成过程。
- 这是一个值得迁移的设计范式。
- 第二，action-conditioned sensing 是比固定多视角更强的 inductive bias：与其覆盖整个 workspace，不如让当前 action hypothesis 决定下一次看哪里。
- 这对遮挡、精密插入、小目标定位尤其有价值。
一句话总结
See2Act 是把 diffusion imitation 从固定条件生成推进到 action-conditioned active sensing 的代表性工作，真正贡献在于用 keyframe action 派生视角监督并把相机运动嵌入 denoising loop，而不是提出一个通用机器人推理模型。