精读笔记

Problem Setting

论文标题：GAIT: Legged Robot Proprioceptive State Estimation with Attention over Inertial–Leg Tokens（arXiv preprint / 2026）。

这篇论文不是在重新定义腿式机器人状态估计，而是在处理一个更具体、也更实际的问题：proprioceptive-only estimator 在接触模式分布外变化时如何不崩。具体表现是，训练数据来自某个 locomotion policy 和某类 gait，例如 trot；部署时出现 bound、pace、pronk、碎石、松动木板、滑移等，腿运动学和 IMU 的可靠性关系发生变化。

真正困难点在于腿运动学观测是条件可靠的。脚稳定接触时，forward kinematics 给 body velocity/pose 强约束；脚滑、摆动或飞行时，同一个观测会变成系统性错误。传统 contact-aided IEKF 把问题显式化：判断哪只脚接触，然后只用可信腿更新。但它依赖 contact estimator、GRF/contact sensor、阈值和 stationary contact assumption，一旦滑移或接触判断错就会注入错误约束。学习式方法绕开显式 contact，但通常把 IMU、关节状态拼成 flat vector，网络容易学到训练 gait 的接触节律，而不是学到可迁移的腿级别可靠性规则。

因此关键矛盾是：估计器需要利用腿运动学提供高频约束，但又必须在观测失效时自动降权；而这个降权机制既不能完全靠手写 contact logic，也不能完全交给无结构 MLP/RNN 隐式学习。

Motivation

作者的动机可以概括为：已有学习式 proprioceptive estimator 缺少 contact-aided estimator 中最有价值的结构偏置。

传统模型法的优点是结构正确：每条腿是一个潜在量测源，量测是否可信取决于接触状态。但它的问题也很明确：需要显式接触估计，需要假设接触点静止，需要调协方差/阈值；遇到滑移、软接触、松动物体时，这些假设会被破坏。

学习法的优点是可以从数据中学习非理想接触、滑移和 policy-specific dynamics，不必显式写 contact update。但已有方法多把所有 proprioception flatten 成一个向量，或者只在 modality 级别做 embedding。这种表示没有强迫网络把“第 i 条腿的运动学可靠性”作为独立实体来处理。结果是网络可能学到 trot 中固定的对角腿接触模式，而不是学到“哪条腿当前像稳定接触”这一更可泛化的判断。

关键缺口不是 lack of capacity，而是 lack of representation alignment：输入组织方式没有对齐物理观测结构。GAIT 的方向就是把观测源分解成 inertial tokens 和 leg tokens，让 attention 学习软 contact-aided weighting。

Core Idea

核心思想是：把 proprioceptive state estimation 中的观测可靠性问题转化为 token-level routing 问题。IMU 和每条腿不是一个混合向量中的不同维度，而是不同观测实体；attention 的作用不是泛泛地提升表达能力，而是在当前接触条件下决定哪些实体更应该影响 body velocity pseudo-measurement。

这个建模方式引入了一个明确的 inductive bias：腿式机器人有按腿分解的观测结构，接触可靠性也是按腿变化的。相比 flat neural estimator，网络不必从维度排列中自己恢复“哪几个关节属于同一条腿、哪条腿当前可信”；相比 contact-aided IEKF，它又不需要硬 contact label，而是用 learned soft weighting 近似传统滤波中的 measurement selection / covariance modulation。

本质区别在于：prior learning-based estimators 学的是从整体传感器向量到速度的黑箱映射；GAIT 学的是在结构化观测源之间进行动态可信度分配，再生成可被滤波器使用的右不变速度量测。这个改变使它更可能在未见 gait 下泛化，因为 gait 变化首先改变的是腿级别接触组合，而不是底层状态估计任务本身。

Method

方法中真正必要的机制如下。

1. IL tokenization：解决 flat input 缺少物理分解的问题。gyro、accelerometer 和每条腿的关节位置/速度/tracking error 被分别编码成 token。这样 attention 可以在“惯性信息 vs 某条腿运动学信息”之间做选择。共享 leg embedding 也暗含一种 permutation-like bias：各腿有相似测量结构，只是位置索引不同。

2. 2D positional embedding：解决 token 来源和时间顺序的可辨识性问题。这里不是为了 Transformer fancy，而是因为同一条腿跨时间的模式、不同腿之间的相位关系都与接触状态有关。短历史窗口让网络能从 foot velocity/contact-like pattern 中推断当前可靠性。

3. Cross-attention 而非 full self-attention：主要是高频部署下的工程选择。Perceiver-style latent cross-attention降低计算量，也提供一个全局 bottleneck 来汇聚多 token 信息。但从机制贡献看，它大概率不是核心，核心仍是 tokenization 与 attention routing。

4. GRU + velocity/uncertainty heads：GRU 提供短期记忆，用于捕捉 gait phase 和动态连续性；uncertainty head 让 pseudo-measurement 在 IEKF 中可调权。这里的关键不是预测速度本身，而是把 neural output 包装成带协方差的滤波量测，避免 learned measurement 以固定置信度污染滤波器。

5. IEKF with right-invariant body velocity measurement：解决几何一致性和惯性传播问题。网络只负责预测 body-frame velocity，不直接输出完整状态；IEKF 负责用 IMU 积分并融合伪量测。这样把 learning 限制在最容易由 proprioception 学到的局部速度层面，而不是让网络承担完整 odometry。

Key Insight / Why It Works

这篇最重要的 insight 是：腿式机器人 proprioceptive estimation 的 OOD 泛化瓶颈不是网络不够大，而是观测结构没有被正确暴露给网络。接触变化是按腿发生的，可靠性变化也是按腿发生的；因此把每条腿作为 token 是比增加 MLP/RNN 容量更合理的归纳偏置。

方法有效的主要原因可能有三层。

第一，representation alignment。IL tokenization 把输入空间重新组织成与物理因果结构更一致的形式。对角 trot、bound、pace、pronk 的差异，本质上是哪些腿同步接触/离地发生变化；attention 在 leg-token 上做 reweighting，比 flat network 在高维向量中重新组合这些模式更容易外推。

第二，soft contact-aided filtering。传统 IEKF 做硬接触选择，GAIT 做软可信度分配。它没有显式 contact estimator，但 attention 和 uncertainty head 共同实现了一种 learned measurement gating：有稳定接触时腿 token 更有用；飞行/滑移时 inertial token 和不确定性上升。这不是严格可观测性分析，但行为上接近 contact-aided estimator 的核心机制。

第三，learning 被限制在 pseudo-measurement 层面。网络不需要直接积分位置，也不需要学习全局状态传播；它只预测 body-frame linear velocity 和 uncertainty。这个任务既足够局部，又能显著影响滤波漂移，因此是 neural augmentation 的合理切入点。

最可能的核心贡献是 IL tokenization + attention-based reliability routing。GRU、Perceiver、随机 masking、两阶段 loss、IMU noise injection 都是合理辅助，但不是本质创新。尤其 Perceiver cross-attention 更像计算效率和架构选择；uncertainty learning 有价值，但文中没有充分证明其 calibration。随机 masking 可能提供一定 robustness，但增益归因不清。

需要警惕的是，所谓泛化并不等价于真正的 contact reasoning。attention weight 可视化显示与接触事件相关，但这可能只是 gait phase retrieval：网络从关节速度/误差模式识别当前 gait phase，然后套用训练中相似模式下的速度映射。由于训练有 friction randomization 和 stationary random rollout，数据覆盖可能已经提供了相当多的接触扰动先验。论文的强点是结构偏置让这种 retrieval 更可迁移，而不是证明网络学到了显式物理接触模型。

Relation To Prior Work

它最接近两条路线的交叉：contact-aided IEKF 和 neural measurement network。

相对 Hartley-style contact-aided IEKF，GAIT 保留 IEKF 的几何传播框架，但放弃 leg kinematics 的显式 stationary-contact update。传统方法的核心是“判断接触脚，然后用零速度/足端静止约束更新”；GAIT 的核心是“网络从 IMU+腿状态预测 body velocity，并在内部软加权观测源”。本质差异是硬物理量测选择变成 learned pseudo-measurement。

相对 Youm et al. 的 NMN，GAIT 的新增信息主要在输入组织方式。NMN 也预测 body velocity 并放进 IEKF；GAIT 不是发明 neural pseudo-measurement，而是指出 NMN 这类 flat/less-structured input 会在 contact pattern shift 下过拟合，并用 leg-wise token attention 修正。换言之，它是 neural measurement network 的结构化版本。

相对 Legolas / learned leg-inertial odometry，它没有试图端到端输出 odometry，而是更保守地让网络预测局部速度，由滤波器维护状态。这条路线更适合高频控制和真机部署，也更容易解释。

相对 robotics 中 body transformer / graph embodiment transformer 一类工作，GAIT 的思想是一致的：利用机器人身体结构作为 inductive bias。但它没有做跨 embodiment 泛化，leg token 的共享 embedding 只是初步引入结构，而不是完整的图结构或 morphology-conditioned estimator。

所以这篇看似新的是 attention over IL tokens；实质创新是把 contact-aided estimator 的 measurement reliability decomposition 转译成 neural architecture bias。其他部分基本是已有思想的组合。

Dataset / Evaluation

评估设计总体是围绕核心 claim 展开的：仿真训练、真机测试；训练只含 trot，测试包含未见 gait； terrain 包含 rubber、slippery、debris、circular，其中 debris 未在仿真建模。这比只做同 gait sim-to-real 更有说服力。

最有价值的实验不是平均误差表，而是 gait shift 和 token attention 分析。trot-to-bound transition 中，baseline learning estimator 误差上升，而 GAIT 维持较低误差；attention 从 trot 的对角腿模式切换到 bound 的前后腿模式。这确实支持“leg-token attention 捕捉接触组合变化”的说法。pronk flight phase 中 inertial attention 和 uncertainty 上升，也与 contact-aided observability intuition 对齐。

但 evaluation 仍有明显边界。首先，所有实验都在 Unitree Go1 上，未验证跨机器人/不同腿构型。其次，训练虽然只含 trot，但 locomotion controller、robot morphology、传感器配置与测试一致，sim-to-real gap 并非特别大范围。第三，debris 和 slippery 的真实复杂性有限，不能证明在泥地、草地、强变形地面、楼梯边缘冲击等更复杂接触下仍成立。第四，三次重复实验统计量有限，很多指标差距并不巨大，部分场景 w/o IL token 或 NMN 在某些旋转指标上接近甚至更优。

总体上，实验足以支持“IL tokenization 对 gait/contact pattern shift 有帮助”，但还不足以支持更强的“通用 proprioceptive estimator”或“无需 contact modeling”结论。

Limitation

最大限制是泛化边界没有被系统刻画。论文展示了从 trot 到 bound/pace/pronk 的泛化，但这些 gait 仍来自同一机器人、同一控制栈、同一传感器分布。网络可能学到的是 Go1 + DynaFlow/相关控制器下的 motion/contact manifold，而不是通用接触可靠性规律。

第二，attention 可解释性不能过度解读。attention weight 与接触事件相关，不代表网络显式估计了 contact probability，也不代表该权重就是量测协方差或信息量。文中没有充分说明 attention 与真实 contact/slip label 的定量相关性，也没有证明 attention 改变会因果影响估计。

第三，不确定性学习的校准性未充分验证。Gaussian ML loss 会产生可用于滤波的尺度，但是否 calibrated、是否在 OOD 下保守、是否与真实 residual 一致，文中缺少 reliability diagram / NLL / consistency analysis。若 covariance 低估，IEKF 仍可能被 neural pseudo-measurement 拉偏。

第四，滤波一致性问题只是部分缓解。网络输入包含 IMU，而 IEKF propagation 也用同一 IMU，measurement 与 propagation noise 相关。作者采用训练时只给 IMU 加噪的策略借鉴 TLIO，但这不是严格解决相关性的滤波理论。真实部署中 shared IMU error 如何影响一致性，仍不清楚。

第五，方法把 contact estimation 问题转移为 learned velocity prediction。它避免了显式 contact sensor，但并没有消除接触不可观测性；在长时间飞行、持续滑移、所有腿都不提供稳定约束时，body velocity 只能依赖 IMU 和 learned motion prior。此时所谓估计很可能退化为基于训练分布的 motion prior retrieval。

第六，ablation 还不够干净。w/o IL token 对比说明 tokenization 有作用，但 attention、masking、history length、uncertainty head、training data randomization、noise injection 的交互没有拆开。部分增益可能来自 training recipe 或更合适的 pseudo-measurement covariance，而不完全来自 IL tokenization。

Takeaway

• 1. 对腿式机器人状态估计，最值得迁移的不是具体网络，而是“按观测实体组织输入，再学习可靠性路由”的思想。
• 接触相关问题天然适合 leg-wise tokenization / graph-like representation。
• 2. Neural estimator 不一定要端到端替代滤波器。
• 更稳的路线是让网络学习难以手写但局部可观测的 pseudo-measurement，再由 IEKF/因子图维护几何状态。

一句话总结

GAIT 是把 contact-aided 状态估计中的按腿量测可靠性选择，重写成 IL-token attention 的 neural pseudo-measurement 方法；它的贡献不在更强网络，而在为学习式 proprioceptive estimator 引入了更对齐接触结构的归纳偏置。