精读笔记

Problem Setting

论文标题：MosaicIMU: Composing Carrier Experts for Generalizable Neural Inertial Odometry（arXiv preprint / 2026）。

这篇论文不是在重新定义 inertial odometry，而是在处理 learned IMU prior 的跨载体迁移问题。IMU-only 轨迹估计的漂移来自积分误差，但 neural IO 的有效性又依赖强局部运动先验；这些先验在车辆、行人、四足、无人机之间差异很大。真正困难点不是“网络能不能回归速度”，而是：一个模型如何同时承载多种互相冲突的动力学统计，并在测试样本级别选择/组合合适的先验。

以前方法大致有两类瓶颈。单载体 TLIO/IMO/RoNIN-style 方法能在特定 motion regime 下工作，但 learned prior 被 carrier dynamics 绑定；多载体预训练如 TartanIMU 通过共享 backbone + carrier-specific heads 避免完全混合，但 carrier identity 被建模成刚性的 one-hot partition，跨载体迁移主要被限制在 backbone 表示层。MosaicIMU 试图解决的关键矛盾就是：carrier prior 需要专门化，但不能被硬隔离。

Motivation

作者的核心动机是：carrier dynamics 不是离散互斥类别。车辆和四足可能共享某些地面运动/振动统计，行人与机器人可能共享低速局部位移模式，无人机和其他平台也可能共享部分三维速度变化模式。固定 carrier head 的设计默认每个样本只属于一个动力学分区，这会浪费跨载体的局部共性；而完全共享模型又会把异质运动平均化，导致 prior 变钝。

因此缺的不是更大的 encoder，也不是更多 carrier-specific heads，而是一个能表达“载体特化 + 样本自适应组合”的结构。换句话说，论文想把 carrier label 从硬条件变量变成一组可组合 latent priors 的索引机制。

Core Idea

MosaicIMU 的核心思想是把 carrier-specific prior 表示为一组 feature experts，而不是一组互斥 output heads。输入 IMU window 先进入共享 encoder，router 在 latent space 中与 carrier prototypes 比较，得到 soft routing weights，然后在 decoder 前对不同 carrier experts 的 feature 做加权组合。这样每个样本不是被分配到某个 carrier head，而是由多个 carrier priors 共同解释。

这个改变引入了一个重要 inductive bias：跨载体惯性模式具有可组合结构。专家保留类别语义，router 允许局部样本借用其他专家的信息。相比 TartanIMU-style fixed-head，多了一个样本级 feature composition channel；相比单一 shared model，多了显式的异质动力学分解。它的 scalability 来自 expert 可扩展和 residual adaptation，而不是简单扩大 backbone。

另一个同等重要的思想是 estimator interface：网络不直接替代惯导积分，而是预测 local gravity-aligned dense velocity，再聚合成历史 clone 之间的平均速度约束注入 EKF。这个设计承认 neural output 是 noisy local prior，而不是完整状态估计器。

Method

1. Local gravity-aligned velocity learning：解决坐标系选择带来的伪可观测性和学习不稳定问题。global-frame target 会把 yaw/attitude 误差耦合进速度观测；body-frame target 随载体瞬时旋转剧烈变化；local-GA frame 固定窗口初始 yaw、对齐重力，在不引入 absolute yaw measurement 的前提下给网络稳定参考。这是一个强 inductive bias。

2. Prototype-based MoE routing：解决 fixed carrier partition 太硬的问题。router 用 latent feature 与 learnable carrier prototypes 的相似度产生软权重，carrier-prior regularization 让专家保持语义，prototype decorrelation 防止所有 expert collapse 到同一功能。核心不是 Gumbel-Softmax，而是把 carrier prior 放到 feature composition 层。

3. Dense velocity 到 segment constraint：解决 neural prediction 与 EKF 融合不稳定的问题。逐帧 velocity update 对回归噪声敏感；直接 displacement regression 又丢掉 dense supervision。论文折中为 clone-bounded segment average velocity，使学习端 dense、滤波端稳健。

4. Lightweight residual adaptation：解决未见 domain 的分布偏移。冻结 base，训练 router adapter 和 residual expert，本质是 side-branch adaptation，避免灾难性遗忘。它更多是实用部署机制，而不是核心建模突破。

5. Router-guided online sample selection：解决边缘设备在线更新预算问题。用 expected carrier 的 routing probability 反向构造 mismatch score，优先更新高 mismatch windows。这个机制把 router 从 inference module 复用为 data selection signal。

Key Insight / Why It Works

最可能真正有效的部分有两个：local-GA 表示和 feature-level soft expert composition。

Local-GA 表示有效，是因为它同时满足两个约束：对神经网络而言，它比 body frame 更稳定；对滤波器而言，它又不像 world frame 那样偷偷提供 global yaw 观测。IMU-only 中 yaw 不可观，任何把 velocity 写在全局坐标里的学习约束都可能让滤波器在数学上吸收错误 heading 信息。MosaicIMU 在这里做了一个比较干净的接口设计。

MoE 有效的原因不在于 MoE 这个名字，而在于它把多载体数据中的 latent structure 显式参数化了。carrier expert 可以看作一组 motion-prior basis，router 做 sample-level retrieval/composition。对于跨载体 IMU，这比 one-hot head 更合理：很多窗口并不需要完整 carrier dynamics，只需要局部可迁移的惯性模式。这个机制本质上是 representation alignment + latent prior reuse。

history-aware EKF 是第三个关键点。它把网络输出降格为 probabilistic local constraint，而不是让网络独立负责 trajectory。这个设计降低了 neural model 的负担，也让错误更容易被 uncertainty 和 segment aggregation 吸收。

但也要直接指出：部分增益可能来自 scaling/data coverage，而不完全来自 MoE。MosaicIMU 和 TartanIMU 虽然使用相同多载体数据，但 MosaicIMU 同时改变了坐标表示、融合方式、滤波约束和适配机制；表格不能完全证明“40%/34% 的平均提升主要来自专家组合”。另外，router 可能学到的不只是 carrier dynamics，也可能是 dataset identity、sensor noise、安装方式等 shortcut。文中对这一点未充分说明。

在线适配部分更像 supervised test-time compute + informative replay，而不是自主泛化能力。DLIO supervision 的存在很关键，如果没有外部 reference，router mismatch 只能告诉你“不像已知 vehicle prior”，不能告诉你正确 velocity 应该是什么。

Relation To Prior Work

最接近的是 TartanIMU、TLIO/IMO 以及一般 MoE/adapter 系列。

相对 TartanIMU，真正差异是 carrier condition 的位置和形式：TartanIMU 用 shared backbone + fixed carrier-specific heads，本质是 multi-task head partition；MosaicIMU 把 carrier specialization 前移到 feature expert，并允许 soft composition。这个差异是实质性的，因为它改变了跨载体知识共享路径：不再只有 backbone 共享，而是在预测前的 feature 空间直接混合 carrier priors。

相对 TLIO/IMO，MosaicIMU 继承了 learned inertial constraint + filter fusion 的思想，但把单一载体 prior 扩展为多载体可组合 prior，并把 displacement-style update 改成 dense velocity 聚合后的历史一致性约束。EKF cloning 本身不是新东西，MSCKF/stochastic cloning 和 TLIO 都已有；新意在于它为 dense local velocity prediction 设计了一个相对干净的 history-aware measurement model。

相对 LoRA/adapter/continual learning，新增 residual expert 属于成熟思想在 IMU domain 的合理移植。它的实质价值是保护 base model、降低部署更新成本，不是理论上的新 adaptation paradigm。

整体看，这篇属于“foundation-style sensor model + structured expert routing + estimator-compatible learning”的技术谱系，而不是纯 deep inertial regression。

Dataset / Evaluation

评估覆盖四类载体，训练数据来自多个公开数据集，并有 held-out trajectory split、重加权、数据增强等处理。这个设置基本能支撑“多载体预训练比单载体或 fixed-head 更好”的主张，尤其因为 baseline 包含了 carrier-specific TLIO/IMO 和多载体 TartanIMU。

但 evaluation 仍有几个限制。第一，跨载体 claim 主要是在已知四类 carrier 内的 held-out sequences 上验证，不等价于 unseen carrier generalization。它验证的是 within-carrier-category cross-dataset/trajectory generalization，而不是开放世界载体泛化。

第二，benchmark 由多个公开数据集拼接，router 可能利用 dataset-specific sensor signature 或环境统计做区分。虽然这对实际部署未必坏，但它会让“学到 carrier dynamics”的解释变得不纯。文中缺少更强的 counterfactual 评估，例如同一 carrier 多安装、多 sensor、多环境下强控制，或不同 carrier 使用相同 IMU 硬件/采样条件。

第三，TLIO unseen adaptation 和真机在线实验支持实用性，但在线适配依赖 DLIO 监督，因此不能证明无外部感知失效时仍能自主适配。它更像“有可靠 teacher 时，如何低成本更新 IMU model”。

总体来说，实验足以证明 MosaicIMU 是一个更强的 engineering system；但对“generalizable”这个词，证据仍主要限于数据覆盖范围内的组合泛化。

Limitation

方法成立依赖几个隐含前提。

第一，预训练数据必须覆盖目标运动分布附近的 latent priors。MoE 不会凭空外推新动力学，它只是更好地组合已有 experts。遇到完全新载体、异常安装、强振动、严重滑移、IMU bias 突变时，router 大概率会做 nearest known expert assignment，泛化会退化为 retrieval。

第二，local-GA frame 依赖合理的 attitude/gravity estimate。论文避免了 absolute yaw 伪观测，但没有解决长期 yaw drift；如果传播阶段姿态已经崩，velocity constraint 的修正能力有限。

第三，uncertainty 建模仍较弱。网络输出 diagonal variance，segment covariance 还需要 carrier-dependent scaling 和 floor。异质载体下误差分布往往是非高斯、时变、与动作状态相关的，简单 heteroscedastic NLL 可能不足以支撑高风险部署。

第四，增益归因不完全清晰。MoE、local-GA、history-aware EKF、数据增强、重采样、carrier reweighting、adapter 都在同时发挥作用。虽然消融覆盖了主要组件，但不能完全排除某些提升主要来自 representation 或 estimator，而非 expert composition。

第五，在线适配仍需要 reference supervision。论文把问题从“如何无外部 sensing 时鲁棒定位”部分转移成“如何在有外部 teacher 的早期阶段快速适配 IMU prior”。这在工程上合理，但离真正 self-supervised lifelong inertial odometry 还有距离。

Takeaway

• 1. 对 neural inertial odometry 来说，坐标系选择不是细节，而是核心 inductive bias。
• local gravity-aligned representation 是这篇最值得迁移的设计之一。
• 2. 多载体 IMU foundation model 不应只做 shared backbone + task head；carrier priors 更适合被表示成可组合的 latent experts。
• 这个思路可迁移到轮速/足端/视觉惯性等多平台传感器学习。

一句话总结

MosaicIMU 是一篇把多载体 neural inertial odometry 从 fixed-head 预训练推进到 feature-level expert composition 与滤波器兼容约束的工作，真正贡献在于更合理地组织 carrier priors，而不是单纯扩大模型或数据。