精读笔记
Problem Setting
FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning（arXiv preprint / 2026）。
这篇论文不是在做一个新的 manipulation policy backbone，而是在补低成本机器人系统里长期缺失的一层：可用的 external force/torque signal。具体地，它处理两个耦合问题：第一，commodity arms 没有专用 FT/joint torque sensing，但 contact-rich manipulation 又强依赖接触反馈；第二，即使能从电流读到 motor effort，raw current 也不是 contact signal，因为里面混有重力、惯性、摩擦、传动、控制误差和硬件非线性。
真正困难点是 residual 的可解释性。传统公式上 external torque = measured motor torque - free-space dynamics torque，但后者在低成本机械臂上最难准确认定。系统辨识、URDF dynamics、disturbance observer 都会把未建模执行器效应误当成外力。于是关键矛盾变成：你想用电流做低成本力感知，但电流恰好最受硬件细节污染；你想让 policy 用 force，但 policy 不能被迫自己从 raw current 中做动力学反演。
Motivation
作者的出发点很实际：force-aware policy learning 过去往往默认有昂贵平台或额外传感器，这使得方法在低成本双臂数据收集生态里不 scalable。另一方面，很多 contact-rich 任务的失败并不是视觉语义不够，而是接触前的几毫米/几度对齐、接触后的微小纠偏和停止条件判断不稳定。
核心缺口有两个。一个是 sensing 缺口：缺少无需 FT sensor、无需显式系统辨识、能在新硬件上快速部署的 continuous external torque estimate。另一个是 learning 缺口：已有 force-aware imitation learning 多数只是把 torque/current 作为额外输入或辅助预测目标，但没有利用 force signal 去改变训练数据中关键片段的权重。作者抓住的是：contact signal 不只是 state variable，也可以是 dataset organization signal。
Core Idea
论文的核心思想是把 sensorless force estimation 从 analytical inverse dynamics 改成 learned free-space normalization。NEXT 不直接学“接触力是多少”，而是学“没有接触时，这台机器人在当前历史状态下电机会消耗多少力矩”。部署时，实际电机力矩与这个 free-space prediction 的差值才被解释为 external torque。这是一个很强但合理的 inductive bias：自由空间里的摩擦、迟滞、死区、控制器跟踪误差等虽然物理建模复杂，但在短历史 proprioception 条件下可由数据拟合；接触则表现为偏离正常自由运动的 residual。
FIRST 则把 torque residual 从 sensing 层推进到 learning 层：它用 external torque 自动切出 free-space、pre-contact、contact phase，然后在 BC 中上采样 pre-contact/contact。这里真正改变的不是 policy architecture，而是训练分布。它假设 long-horizon demos 中大多数 timestep 是容易的 transport/free-space，而决定任务成败的是稀疏 contact onset 附近样本；因此均匀 BC 在优化资源分配上是低效的。
Method
1. NEXT：学习自由空间逆动力学，而不是手写动力学残差。它解决的是 nominal dynamics 不准的问题。输入历史 joint position、velocity、command tracking error，预测 free-space motor torque；deployment 时用 measured motor torque 减去预测值。历史窗口的必要性在于 actuator/friction/controller effects 通常不是瞬时状态函数，尤其低成本臂存在滞后和传动非线性。
2. Residual external torque：这个 residual 是整篇的中间表征。它把 raw current 中与运动本身相关的成分剥离掉，使 force input 更接近 contact-specific representation。它不是严格物理意义上的六轴末端力，而是 joint-space contact-induced torque proxy；对 policy 和 teleop 来说，这个 proxy 足够有用可能比绝对物理准确更重要。
3. FIRST：用 torque residual 做 phase segmentation，再重排训练采样。它解决的是 BC 中关键 contact-relevant samples 稀疏的问题。pre-contact 的定义尤其关键：不是接触已经发生后的响应，而是 contact onset 之前的对齐窗口。实验显示上采样 pre-contact 往往比只上采样 contact 更有效，说明很多失败根源在进入接触前的 pose/alignment，而不是接触后控制本身。
4. Policy 侧保持相对普通：flow matching / ACT 都只是载体。论文的有效性不依赖某个新 backbone，而依赖 torque representation 与 sampling bias。这点反而增强了方法作为训练范式的可迁移性。
Key Insight / Why It Works
最核心的 insight 是：对低成本机器人来说，force sensing 的难点不一定要靠更好的物理模型解决，可以靠“学习正常自由运动”来规避。NEXT 成立的原因在于 free-space dynamics 是高频、易采、无标签的数据；而 contact 是相对稀有且幅值上可从 residual 中凸显的事件。它本质上是一个 hardware-specific normalizer，把电流信号变成更接近 contact latent state 的表征。
第二个重要 insight 是：contact-rich imitation learning 的瓶颈常常不是全局任务理解，而是局部阶段分布不均。标准 BC 把大量 free-space transport 和少量接触关键帧同等看待，优化会偏向拟合容易且数量多的片段。FIRST 的提升更像 curriculum / data reweighting / latent phase balancing，而不是更强 reasoning。尤其 pre-contact 上采样优于 contact-only，说明“如何进入接触”比“接触后如何用力”更经常是失败主因。这是值得迁移到其他 long-horizon manipulation 的经验。
我认为论文最实质的贡献是 NEXT + phase-aware resampling 的组合：NEXT 提供低成本 phase/contact observability，FIRST 把 observability 转化为 optimization bias。单独把 torque 输入 policy 只是已有 force-aware BC 的自然延伸；真正新的是用 force signal 重构训练分布。
哪些可能只是 engineering / scaling？10 分钟 free-space 数据、1 分钟训练、LSTM 架构选择本身不是概念创新，更像实用系统工程。policy backbone、DINO/image encoder、flow matching 也不是关键。增益主要来自 better inductive bias 和 data distribution correction，而不是 test-time compute、planning 或显式长期状态建模。
需要警惕的是，FIRST 的收益可能部分来自 benchmark/task structure：这些任务的 contact onsets 清晰、阶段性强、且 demos 中 pre-contact 对齐动作具有重复模式。在这种设置下，上采样类似把模型训练集中到“考试重点”。这不是坏事，但泛化到更连续、更不可预测、多接触同时发生的 manipulation 时，phase threshold + one-second pre-contact window 可能会变得粗糙。
Relation To Prior Work
最接近的技术谱系有三条：sensorless external force estimation、force-aware imitation learning、dataset reweighting。NEXT 与传统 residual dynamics/FILIC/disturbance observer 的本质区别不是也用了 residual，而是把 residual 中最脆弱的 free-space torque 项从解析模型换成硬件数据驱动模型。它继承了 residual contact estimation 的框架，但把 system identification 工程化问题转成少量 free-space self-supervision。
与 supervised force estimation 不同，NEXT 不需要 contact labels 或外部 force sensor；与 anomaly detection 不同，它输出连续 torque residual，而不是只检测碰撞。与 raw-current-based policy 不同，它在进入 policy 前先做 dynamics subtraction，减轻 policy 同时学习任务与去混叠的负担。
FIRST 与 FACTR、TA-VLA、BiACT、CompACT 等 force-aware IL 的差异在于，force 不只是额外输入/辅助目标/attention cue，而是用来改变 dataset mixture。这个思想本身与 data reweighting、curriculum learning、stage-aware training 接近；新意在于 stage label 不来自人工标注、VLM reward 或 rollout value，而来自 learned external torque。也就是说，它把低层接触物理信号提升成了数据选择信号。
看似新的部分里，LSTM inverse dynamics、residual force estimate、upsampling 都不是单独新概念；实质创新是把它们组合成一个可在 commodity arms 上闭环工作的系统，并证明该信号同时能服务 teleop 和 policy learning。
Dataset / Evaluation
评估覆盖了两个层面：sensing/teleop 和 imitation learning。sensing 部分在 Franka 上用内置 torque estimate 作为参考，在 Piper 上只能验证 free-space residual 接近零，并通过 teleop user study 间接验证 contact usefulness。这个设计是合理的，因为低成本臂没有 ground-truth contact force；但也意味着 Piper 上接触力矩的绝对准确性没有直接验证。
policy learning 部分使用真实 bimanual Piper、五个长程接触任务、每任务数百 demos，并比较多种 force-aware baselines。这比纯仿真或单任务插入更有说服力，尤其任务覆盖 assembly、belt、insertion、cleanup、screwing 等不同接触模式。ACT 与 flow matching 上趋势一致，也说明 FIRST 不是某个 policy backbone 的偶然收益。
但 evaluation 仍有明显边界。首先，所有学习任务都在同一类低成本硬件与同一实验室任务分布内，跨机器人/跨末端负载/跨物体几何的泛化没有被真正检验。其次，task progress 是多阶段人工定义指标，能缓解 binary success 稀疏问题，但也可能放大局部阶段改善而不完全代表端到端鲁棒性。第三，FIRST 的 re-sampling ratios 是按任务选择的，文中未充分说明自动选择策略；这会让方法在新任务上的即插即用程度打折。
Limitation
NEXT 的核心前提是 free-space predictor 在部署分布上足够准。如果实际策略产生的速度、姿态、tracking error 超出 10 分钟 free-space 数据覆盖，residual 会把模型误差误认为外力。换言之，方法把力传感问题部分转移成 free-space data coverage 问题。对于低成本硬件，这个转移很实用，但不是消除了问题。
绝对力矩尺度依赖 motor torque constant K，且每台机器人/每种负载/每个控制器都可能需要重训或再校准。论文承认 robot-specific，但更深的限制是长期漂移：温度、润滑、磨损、线缆拖拽、末端工具变化都会改变 free-space torque 分布。文中未充分说明 estimator 在这些变化下的稳定性。
FIRST 的限制是 phase model 很粗。用 torque norm threshold + hysteresis + 固定一秒 pre-contact window 对阶段清晰的任务有效，但对持续滑动、多点接触、柔性物体、接触前视觉遮挡或无明显 torque spike 的任务可能不够。它没有真正建模 contact mode dynamics，只是用接触 onset 附近样本重加权。
增益归因也仍有不清晰处：FIRST 同时改变输入模态和采样分布；虽然有 ablation，但最优 ratio task-specific，且上采样本身可能相当于对 demos 中高价值动作片段做隐式 memorization。所谓 force-aware improvement 更像 representation cleaning + curriculum，而不是 policy 学到了可泛化的物理推理。
Takeaway
- 1. 对 commodity robot arms，最值得做的不是直接把 current 输入大模型，而是先学习一个硬件特定的 free-space normalizer；clean residual 比 raw effort 更有学习价值。
- 2. Contact signal 的价值不只在 inference-time feedback，也在 training-time data organization。
- 用低层物理信号自动标注关键阶段，是比单纯增加模态更强的 inductive bias。
- 3. Pre-contact 可能比 contact 本身更值得重采样。
一句话总结
FACTR 2 在力感知机器人学习中的位置是：用少量自由空间自监督把低成本机械臂的电流变成可用 external torque residual，再用该 residual 重排 imitation learning 的关键接触阶段训练分布，属于“硬件自校准 sensing + phase-aware data curriculum”的实用演化。