精读笔记
Problem Setting
论文标题：Fourier Features Let Agents Learn High Precision Policies with Imitation Learning（arXiv preprint / 2026）。
这篇论文不是在提出新的 imitation learning 框架，也不是在改 diffusion policy 的 action generation；它真正瞄准的是一个更底层的问题：点云条件 policy 在需要精密接触、插入、按压、旋转等任务时，经常没有把点云中已有的细粒度几何信息转化为动作条件。
关键困难在于，高精度 manipulation 的策略函数对观察的局部空间变化可能是高频的：物体或末端执行器只偏了几毫米，正确动作就可能从“继续插入”变成“重新对齐”。但多数点云 encoder 从 XYZ 坐标出发，经 MLP / PointNet-style tokenization 得到 latent；这些网络在训练动态上倾向先学低频、平滑函数，导致策略对微小几何差异不敏感。
以前路线的卡点是：RGB policy 有语义和 pretrained backbone，但深度/尺度/视角歧义强；点云 policy 有几何先验，但纯 Cartesian 坐标输入太“慢变”，高频几何 cue 不容易被 MLP 学到；hybrid 2D/3D 方法有效，但往往靠复杂融合和 pretrained RGB 特征补洞，而不是解决点云 encoder 自身的频谱偏置。
Motivation
作者的核心观察很明确：3D 信息并不缺，缺的是让 policy 以足够高的空间分辨率使用这些信息的 representation。高精度任务失败时，问题未必是 action diffusion 不会建模多峰动作，而是条件输入已经把关键几何差异抹平了。
这也是为什么论文会自然想到 Fourier features。NeRF 中 Fourier positional encoding 的作用是让 MLP 能表示高频空间函数，避免重建过度平滑；点云 IL 中也有同构问题：MLP 面对低维连续坐标，默认学习低频函数，而精密操作要求 sharp spatial decision boundary。
关键缺口在于，机器人点云基础模型和常见 IL encoder 大多仍直接吃 Cartesian features。已有 work 偶尔使用 Fourier features，但没有系统验证它是否是点云 IL 的通用修正项。本文的动机不是“设计一个更强架构”，而是检验一个更简单但更根本的假设：很多点云 policy 的失败来自输入频谱表达不对。
Core Idea
核心思想可以压缩为一句话：不要让点云 encoder 从 XYZ 中自己学高频空间基函数，直接把坐标投到多尺度 Fourier basis，让细微几何差异在输入层就变得可分。
这改变的不是 policy 的输出建模，而是 observation-to-condition 的函数类偏置。Cartesian 空间中相邻点的特征几乎线性接近，后续 MLP 若要对几毫米差异产生显著响应，需要学到高频函数；Fourier 空间中，同样的位移会在短波长通道上产生明显相位差，后续网络只需对这些通道做较简单组合。
和 prior 的本质区别是：许多 2D/3D hybrid 方法靠 RGB backbone 的 convolutional bias 或 pretrained semantics 补强点云；这篇则把问题定位到点云坐标编码本身，提出一个非参数、架构无关、几乎零成本的 inductive-bias correction。它的 scalability 潜力也在这里：如果成立，它可以作为任何 point cloud encoder 的输入替换，而不是又发明一个专用架构。
Method
方法的机制层面只有几件事值得记住。
第一，坐标 Fourier mapping：对每个坐标轴分别使用 log-spaced wavelengths 的 sin/cos 编码。它解决的是 Cartesian features 对小位移响应过弱的问题；带来的核心变化是把局部空间差异显式展开到多频通道中，让 MLP 更容易组合出 sharp boundary。
第二，插入位置是点云 encoder 的坐标输入，而不是 diffusion decoder。论文的假设是 score/action denoising 的难点来自 observation condition 的几何表达，而不是 action space 中的高频性。因此 Fourier features 作用在 absolute / relative point coordinates、patch center positional encoding 等位置，目的是让 tokenization 阶段就保留高频几何。
第三，作者横跨多种 encoder 做同一替换：PointPatch、attention pooling、max pooling、DP3、PointTransformer，以及 RGB+point cloud。这个设计的价值不在架构多，而在控制变量：如果不同 aggregation 方式都受益，则说明问题更可能在 coordinate representation，而不是某个 encoder 细节。
第四，VariableJitter 是一个防过拟合/抗噪辅助项，用来让模型不要过度依赖无意义短波长噪声。但从消融看，它不是核心机制；无 jitter 的 Fourier features 仍然保留大部分增益。
Key Insight / Why It Works
最重要的 insight 是：点云 IL 中的“几何先验”并不自动等于“高精度几何可用”。点云确实提供 3D 结构，但如果 encoder 的输入坐标表达让高频空间函数难学，policy 仍会表现得像看不见细节。
本文最可能的核心贡献不是 Fourier features 本身，而是把 spectral bias 作为解释点云 policy 高精度失败的机制，并用系统实验说明一个简单 coordinate reparameterization 能显著改变 policy 行为。它本质上是 better inductive bias，而不是 scaling、retrieval、test-time compute 或 memory reuse。
为什么有效：一方面，Fourier features 改善函数表示条件数，使 MLP 更容易拟合随空间位置快速变化的 action condition；另一方面，它也可能改善优化动态，让网络在训练早期就对坐标变化产生更大梯度响应。论文的频谱分析支持这一点：Fourier features 不只是增强高频，也提升了更宽频段的 sensitivity。因此，增益未必完全来自“读取细几何”，也可能来自更快、更稳定地把 observation token 与 action loss 对齐。
哪些是核心，哪些是辅助：固定 log-spaced axis-aligned Fourier encoding 是核心；jitter 是辅助；具体 diffusion backbone 基本不是贡献；多种 point encoder 的覆盖主要是验证，不是方法本身。参数研究显示 learned / Gaussian RFF 不如简单 log-spaced encoding，说明这里并不需要复杂 adaptive frequency learning，至少在当前 benchmark 尺度下固定多尺度 basis 已足够。
需要保留怀疑：部分结果可能混有 optimization gain，而不是纯几何 reasoning。特别是作者发现即使加入大噪声移除细几何，Fourier policy 仍优于无 Fourier baseline，这说明“高频几何利用”不是唯一解释。更准确的判断是：Fourier features 同时提供了几何分辨率和训练动态上的捷径。
Relation To Prior Work
这篇工作最接近两条谱系：一是 NeRF / Fourier feature literature，解决 MLP 学高频空间函数慢的问题；二是点云机器人 IL，包括 DP3、PointPatch/PointMAE-style encoder、PointCloudMatters、PointMapPolicy、2D/3D fusion policy 等。
看似新，其实不是新模块：Fourier encoding 是成熟技术，diffusion policy 也是标准框架，PointPatch tokenization 也来自已有点云模型。实质新增的信息是把这些拼接到机器人点云 IL 的 failure mode 上，并证明它不是某个 architecture-specific trick，而是 Cartesian point feature 的普遍缺陷。
和 2D/3D hybrid prior 的本质差异在于，hybrid 方法通常通过 RGB pretrained encoder 提供强语义和局部高频视觉 cue；本文则试图让纯几何流本身恢复高频可见性。它不是替代 RGB，而是说明 RGB+point cloud 中 point branch 也应避免 Cartesian low-pass bottleneck。
和 point map / convolutional 3D representation 的关系也值得注意：point maps 用 2D grid + conv 处理 3D 坐标，天然继承 convolution 对局部高频的敏感性；Fourier point clouds 则是在 unordered point encoder 中注入类似的高频 bias。两者不是完全竞争关系，而是不同方式绕开 MLP-on-XYZ 的低频瓶颈。
Dataset / Evaluation
实验覆盖三层：RoboCasa 高精度厨房操作、ManiSkill3 较标准化的 tabletop manipulation，以及真实机器人多任务设置。这个组合基本能支撑论文的主 claim：Fourier features 对点云 IL 尤其在高精度任务中有帮助，并且不只在仿真成立。
RoboCasa 是最能验证 claim 的部分，因为任务包含按按钮、旋钮、水龙头、抽屉/门等对局部几何和接触敏感的动作，且每任务 demonstration 数量较少，正好暴露 representation bias。ManiSkill3 的增益较小，反而是合理现象：任务更简单、数据更多、部分架构已接近饱和时，高频 coordinate encoding 的边际收益自然降低。
真机实验是论文较强的证据，尤其是 RGB+PointPatch pretrained 设置下仍有增益，说明 Fourier features 没有明显被真实深度噪声、遮挡和轻微标定误差击穿。杯子尺寸越小增益越大也支持“几何容差越紧越有用”的解释。
但 evaluation 仍有局限：真机 rollout 数有限，且非 blind；RoboCasa 中部分任务整体成功率仍低，提升虽然明显但不等于策略真的掌握长程 manipulation；ManiSkill3 上提升不稳定说明该方法的优势依赖任务几何频率和 baseline 饱和程度。文中未充分说明跨 workspace、跨相机布局、跨机器人形态时 Fourier encoding 的泛化边界。
Limitation
最根本的限制是：Fourier features 只能放大输入中已经存在的几何信号，不能创造缺失信息。如果深度噪声、遮挡、标定误差或点云裁剪已经破坏了关键几何，短波长特征反而可能放大噪声。
第二，方法依赖工作空间有界。周期编码存在 aliasing，论文用 λ_max 覆盖工作空间或拼接 Cartesian 坐标规避唯一性问题，但大规模开放场景中这不是完全解决。固定 wavelength range 在 tabletop / kitchen workspace 中合理，到了移动操作、非结构化室外或多尺度 manipulation，频率选择可能不再稳。
第三，增益归因仍不完全干净。作者把主线解释为缓解 spectral bias、利用细几何；但大噪声实验显示即使细几何被破坏，Fourier features 仍有收益。这意味着一部分提升来自优化动态、token separability 或 loss conditioning，而不完全是高频几何 reasoning。增益来源不清，需要更强的 causal ablation。
第四，这不是 planning 或 long-horizon reasoning 的改进。长程任务中的收益来自更好的局部几何条件化，而不是 policy 学到了更强的状态机或任务规划。若失败模式来自任务阶段识别、语言 grounding、occlusion memory 或 exploration coverage，Fourier features 不能解决。
第五，scaling 上限未知。在小到中等规模 IL 数据和轻量点云 encoder 上，显式 Fourier basis 很有效；但在大规模 3D pretraining、SE(3)-equivariant backbone、implicit field 或 voxel/pointmap conv 表示中，它是否仍是最佳 bias，文中未充分说明。
Takeaway
- 1. 点云 policy 的核心瓶颈之一可能不是缺模型容量，而是坐标输入的频谱参数化错误；XYZ 对高精度 manipulation 来说太平滑。
- 2. Fourier features 是一个低成本但高杠杆的 representation fix：它应被视为点云 IL 的默认 baseline，而不是 NeRF 专属技巧。
- 3. 对高精度机器人任务，评估 observation encoder 时应显式看 spatial frequency sensitivity，而不仅看平均成功率或 token architecture。
- 4. 未来更值得做的是把频率选择和传感器噪声、任务容差、控制精度联系起来，而不是继续堆更复杂的 point cloud fusion module。
一句话总结
这篇论文把 NeRF 时代的 Fourier coordinate encoding 迁移为点云模仿学习的通用 inductive-bias 修正，真正贡献是指出并实证缓解了 Cartesian point encoder 在高精度 manipulation 中的低频瓶颈。