精读笔记

Problem Setting

论文标题：Moonstone: A Multimodal Foundation Model and Benchmark for Lunar Remote Sensing（arXiv preprint / 2026）。

这篇论文真正处理的是“月球遥感 foundation model 的数据-模型-评测闭环缺失”，而不是单纯提出一个 MAE 变体。月球数据的关键矛盾是：观测模态物理上高度互补，但空间覆盖严重不均；标签稀缺且很多科学任务依赖跨尺度解释；已有 EO 模型的传感器语义和地球先验又不能直接迁移。以前方法卡在两个层面：一是 lunar ML 多为单模态单任务，无法利用月球多年轨道任务积累的多物理观测；二是 EO foundation models 假设输入模态稳定且覆盖较完整，面对 GRAIL、M3、Mini-RF、Diviner 这类异构月球观测时 patch embedding 和预训练语义都不匹配。真正困难不是“分类/分割更难”，而是如何让缺测、粗尺度、不同物理机制的数据在同一个 latent space 中形成可迁移表示。

Motivation

作者的出发点很明确：月球数据不是缺数据，而是缺组织方式。几十年任务已经产生了形貌、光谱、热、雷达、重力、元素丰度等互补观测，但它们分散在不同 archive、格式和分辨率下，没有统一 benchmark，也没有一个模型协议能公平处理缺测模态。

已有路线不够的原因在于，EO foundation model 学到的是地球观测体系下的规律，例如植被、海洋、大气、季节性、多时相 Sentinel/Landsat 结构；这些规律在月球上大多无对应物。作者的核心观察是：月球场景虽然没有地球生态复杂性，但有更强的地质物理互补性。要利用这种互补性，模型必须把不同仪器视为不同物理场，而不是把所有通道拼成一个大图像。关键缺口因此不是更大的 ViT，而是一个覆盖缺失-aware 的多模态预训练框架和可复现评测协议。

Core Idea

Moonstone 的核心思想是把月球表面建模为一个共注册的 multi-physical field：每个位置可能有若干物理观测，某些观测缺失不是噪声，而是仪器覆盖机制的一部分。MG-MAE 因此不是普通 MAE 在 28 通道上的套壳，而是把通道先按物理测量机制分组，再在共享 Transformer latent space 中学习组间可预测结构。

这个建模方式改变了信息流：组内由 convolutional tokenizer 捕获连续或相关结构，组间由 shared encoder / cross-modal decoder attention 交换信息，缺失模态通过 attention mask 被排除而不是被零值污染。它引入的主要 inductive bias 是“物理相近的通道应先被联合编码，物理不同的模态应通过空间共定位学习互补关系”。和 MultiMAE / SatMAE 的本质差异不在 modality grouping 本身，而在于它面对的是真实缺测模态，而不是人为 drop token；这使 missing-modality handling 从 robustness trick 变成核心建模条件。

Method

方法中真正关键的机制可以压缩为四个。

第一，按物理模态分组 tokenizer。它解决的是 per-channel tokenizer 把连续光谱、Hapke 反射、热通道等组内结构打散的问题。核心变化是从“通道独立 patch embedding”转向“物理组级 patch embedding”，这既减少参数，也把局部光谱/物理相关性前置进表示。

第二，missing-modality attention masking。它解决的是低覆盖模态在某些 patch 中完全不存在时，零填充 token 会进入 attention 并污染表示的问题。关键点是只 mask key，不 mask query，以保证数值稳定；机制上等价于告诉模型：缺测不是一个观测值，而是不参与证据融合。

第三，coverage-adaptive 与 complementary masking。它们解决的是稀有模态在标准 75% MAE masking 下贡献过少的问题。coverage-adaptive 给低覆盖模态保留更多 visible token；complementary masking 则制造“少数 anchor 模态完整、其他模态高度遮蔽”的训练情形，迫使模型学习跨物理量预测，而不是只做同模态纹理补全。

第四，spectral continuity regularization 和跨组 contrastive alignment。前者把 M3 连续光谱的平滑性作为物理先验，后者鼓励不同模态的 patch-level 表示对齐。我的判断是它们是辅助项：合理但不是主因；真正决定模型能工作的，是缺测-aware 的跨模态重建和物理分组。

Key Insight / Why It Works

这篇论文最重要的 insight 是：在 planetary remote sensing 中，多模态预训练的难点不是“有多少模态”，而是“模态是否真实可用，以及缺失机制是否进入模型”。普通 MAE 假设输入完整，只是随机遮挡；MultiMAE 假设模态可得，只是训练时采样子集；Moonstone 面对的是仪器覆盖导致的结构性缺测。missing-modality masking 的 ablation 最大，说明核心贡献更接近 missing-data representation learning，而不是新的自监督目标。

方法有效的第一来源是 better inductive bias。按物理组 tokenization 让模型保留了光谱曲线、热物理通道、形貌通道的组内结构；这比把 28 个 channel 平铺更符合数据生成机制。尤其在月球上，地质类别往往不是单一视觉纹理，而是形貌、矿物吸收、重力异常、热惯量的组合信号。

第二来源是 representation alignment。InfoNCE、cross-modal decoder attention 和 complementary masking 都在逼迫模型把不同物理观测投到可互相解释的 latent space。这里的“推理”更像 cross-modal retrieval / interpolation：给定表面形貌和光谱，恢复热或组成趋势。它不是符号推理，也不是长期状态建模，而是利用共定位物理场的统计相关性。

第三来源可能是 data coverage / dense sampling。预训练从全球连续月面上随机 crop，理论上样本无限，但本质仍是一个固定天体表面的 dense sampling。模型可能学到大量区域级空间结构与平滑场模式，这对同一月球 benchmark 很有用，但不等价于开放域泛化。这里增益可能部分来自“记住/压缩全局月面物理场”，尤其 composition、gravity、thermal 这类低频平滑变量。

我认为最实质的贡献是把 lunar-specific missing coverage 变成预训练目标设计的一部分。最像 engineering 的部分是数据流水线、mmap、训练 recipe、一些辅助 loss；它们重要但不构成方法本质。spectral continuity 是漂亮的 domain prior，但增益有限，且只作用于 M3 子空间。coverage-adaptive masking 有合理性，但其提升不大，更多是稀有模态采样策略而非新表示学习范式。

Relation To Prior Work

技术谱系上，Moonstone 属于 MAE / MultiMAE / SatMAE 之后的 domain-specific multimodal masked modeling。它不是从零发明多模态 MAE，而是把已有 grouped tokenization、shared encoder、masked reconstruction、contrastive alignment 重新装配到月球遥感的缺测覆盖条件下。

和 SatMAE 的接近点是按波段/分辨率/物理相近性分组 embedding；不同点是 SatMAE 主要处理地球多光谱遥感，覆盖和传感器语义相对规整，而 Moonstone 的分组是跨仪器、跨物理机制。和 MultiMAE 的接近点是每模态投影到共享 ViT 并训练任意模态组合；不同点是 MultiMAE 的缺模态多是训练策略，Moonstone 的缺模态是数据事实。这个差别很关键：如果某一区域没有 Mini-RF，模型不能把它当作被 mask 的可恢复观测，而必须在 attention 层面避免 ghost token 干扰。

和 MMEarth / TerraMind 这类 EO 多模态生成模型相比，Moonstone 的新信息不是 any-to-any 生成本身，而是 planetary setting 下的物理场组织方式。它的实质创新是 benchmark + data integration + missing-modality-aware grouped MAE 三者绑定；单看模型模块，大部分都是已有思想重组。真正新增的是：月球多仪器覆盖异质性使这些机制从可选设计变成必要条件。

Dataset / Evaluation

数据集是论文影响力的核心部分。28 通道、7 组、5 个任务来源、全球 128 ppd 共注册，基本上第一次把月球遥感整理成 foundation model 可用的形式。任务覆盖分类、回归、分割和 cross-modal prediction，能测试一部分表示能力：地质分类考察多物理语义，composition 回归考察低频地球化学趋势，crater/mare 分割考察空间结构，thermal prediction 考察跨模态相关性。

评测总体支持作者的主要 claim：领域内预训练明显优于 scratch、ImageNet 和 EO foundation model；多模态优于单模态；缺测处理和分组 tokenization 有必要。地理 latitude-band split 是一个加分项，至少比纯 random split 更接近真实部署。

但 benchmark 仍不能完全证明“泛化”。预训练和下游都来自同一个全球月面产品体系，很多 target 不是独立实测标签，而是地图、插值或 catalog 派生结果。composition 目标来自 LP-GRS 粗尺度插值，gravity/thermal/elemental channel 本身也是空间平滑场，模型可能通过区域级统计相关性取得高分。cross-modal thermal prediction 的高性能也可能说明多模态场高度可插值，而不一定说明模型学到了可迁移地质因果结构。文中未充分说明如何避免 pretraining random crops 与 downstream fixed patches 的空间邻近泄漏。

Limitation

最根本的限制是方法依赖“单一天体、静态表面、全局共注册、多模态栅格化”这个强前提。这个前提在月球上合理，但它使模型更像固定物理场的 representation compressor，而不是一般意义上的遥感 foundation model。换到时变场景、局部不共注册数据、不同天体、或缺少全球 map 的任务，机制能否成立未被证明。

第二，泛化证据仍偏弱。latitude-band split 只能测试纬度分布偏移，不能测试跨半球、跨任务来源、跨仪器版本、跨时间或新观测任务。极区本身覆盖差，恰好也是未来 Artemis 关心区域；模型在这些区域的高层 claim 受原始模态缺失限制。coverage-adaptive masking 只能更好利用稀有模态，不能弥补观测不存在。

第三，增益归因不完全清楚。MG-MAE 同时改变了数据组织、tokenizer、decoder、masking、loss、采样策略和训练规模；虽然有 ablation，但很多组件存在交互。核心能力可能主要来自数据覆盖和 dense random crop 预训练，而非每个 architectural trick。尤其当下游标签与输入模态共享空间先验时，模型可能在做高维地理 retrieval / interpolation。

第四，benchmark 本身会塑造结论。若未来任务是小尺度 mineral anomaly detection、landing-site hazard assessment、极区挥发物预测或新仪器校准，当前 237 m 分辨率和 256 patch 设定可能不足。ViT-Base 规模也让 scaling law 未知：更大模型是否继续提升，还是受数据单体性和标签噪声限制，很难从本文判断。

Takeaway

• 第一，Moonstone 真正推动的是 planetary foundation model 的数据范式：把分散的多仪器月球观测变成可预训练、可评测、可复现的统一基准。
• 这可能比 MG-MAE 本身更重要。
• 第二，可迁移的技术 insight 是：在多模态遥感里，缺测机制必须显式建模。
• 把 missing modality 当作 zero-filled channel 会破坏 attention；把它当作训练时随机 drop 也不够，因为真实覆盖缺口有空间结构和仪器机制。

一句话总结

Moonstone 是把 MAE 系多模态自监督学习推进到月球遥感场景的一篇数据-基准驱动工作，其真正贡献在于用物理分组和缺测-aware 预训练组织异构 planetary observations，而不是提出全新的基础模型范式。