精读笔记
Problem Setting
这篇论文解决的不是普通的 satellite T2I，也不是单一 layout-to-image，而是遥感生成模型如何接入真实 GeoAI 标注系统的问题。遥感场景的控制信号天然是 polygon、polyline、box、point 等矢量 primitive；但现有生成模型通常只接受 raster mask、bbox 或稀疏点，导致 GIS 表示和视觉生成接口之间存在系统性断裂。
真正困难在于遥感图像不是少数显著物体的组合，而是大量小实例、细长结构、重叠区域和拓扑连接共同形成的空间场。道路、河流、建筑、土地利用区之间的关系往往比单个对象外观更重要。以前方法卡在两端：raster control 需要高成本 dense annotation，并且在多实例重叠、overpass、交叉结构中容易丢失层次和实例关系；point/box control 成本低但欠约束，无法表达方向、曲率、边界和拓扑连续性。
这个任务的关键矛盾是：生成模型需要高精度空间约束，但真实工作流中标注预算和 primitive 类型高度不一致。论文的目标是用一个模型覆盖从点到 polygon/polyline 的标注谱系，同时保留矢量几何的 inductive bias。
Motivation
已有路线不够的根本原因是把地理信息强行翻译成视觉控制格式。ControlNet/segmentation-map 路线看似精确，但本质上要求先 rasterize，这会把矢量 primitive 的实例边界、重叠关系、线状连续性和拓扑结构压扁到像素通道里；如果用多通道实例 mask 又会在遥感密集场景中遇到计算和数据管理瓶颈。GLIGEN/InstanceDiffusion 这类 token grounding 方法虽然更轻，但它们默认自然图像中对象数量少、形状可由 box/point 粗略定位，和遥感场景不匹配。
作者的核心观察是：GIS primitive 本身已经携带了比 raster 或 box 更合适的空间结构，尤其是方向、边界、曲率、闭合区域和线状连通性。缺口不是再发明一个 layout format，而是让生成模型直接把这些 primitive 当作 native condition，并根据 primitive 复杂度调整空间约束强度。
Core Idea
论文真正核心的思想是：不要把 geospatial primitive 只编码成一个普通 condition token，而要把它转化为 attention 空间中的显式几何先验。也就是说，primitive 不只是告诉模型“这里有一个 road/building”，还直接限制视觉 token 应该在哪些空间位置关注该 primitive，以及关注分布应如何沿线、沿面、沿旋转方向展开。
这改变了 prior work 的建模方式。GLIGEN/InstanceDiffusion 更依赖模型从 token embedding 和 attention 中隐式学 grounding；TerraDiT-Σ 的 ALA 给点 prompt 加 axis-aligned Gaussian，但只适合局部点状约束。TerraDiT-Ω 引入的 inductive bias 是格式自适应的局部几何场：point 给软定位，box 给粗区域，polyline 给管状路径，polygon 给边界/内部场。这个 bias 使模型在密集遥感场景里不用从零学习“几何怎么投影到图像结构”，从而更 scalable，也更符合 GeoAI workflow。
Method
方法上最关键的不是 DiT backbone 或训练 recipe，而是信息流如何被重组。
第一，统一 primitive encoder 解决的是输入格式碎片化问题。每个实例可以有 polygon、polyline、box、point 的任意子集，并共享一个实例 caption。它的核心作用是建立实例级语义-几何绑定，使后续 attention 不只是全局 layout conditioning，而是每个 primitive 与其语义标签形成对应。
第二，MetaRBF+ 解决的是点式 grounding 太刚性的问题。传统 axis-aligned Gaussian 对遥感里旋转建筑、道路、河流、机场跑道这类细长结构明显不够。预测 σx、σy、θ 等参数，本质是在 attention 先验中加入方向性和各向异性，使局部注意力可以随实例形状旋转和拉伸。
第三，Spatial Geometry Field 解决的是 richer primitive 的几何信息不能只靠 token embedding 表达的问题。polygon/box 用 SDF，polyline 用到线段距离的 tubular field，把边界、内部、路径这些几何关系直接变成 dense modulation。这个机制把“几何条件”从语义 token 旁路注入到空间位置选择中，是整篇论文最实质的改动。
第四，format dropout 解决的是多标注预算共存的问题。模型训练时被迫在缺失部分 primitive 的情况下仍能工作，因此 inference 时可以从 point-only 到 full Ω 条件平滑退化。这比为不同任务训练不同条件模型更接近真实部署需求。
Key Insight / Why It Works
最可能真正有效的是显式几何 inductive bias，而不是“统一支持很多 primitive”这个表层卖点。遥感图像的主要不确定性很多时候不是对象类别，而是空间结构：道路怎么弯、建筑边界在哪里、区域如何闭合、线状物如何延展。GALA 把这些结构直接作用到 attention distribution，相当于降低了生成模型需要学习的空间搜索空间。
MetaRBF+ 的旋转各向异性是一个小但合理的改动，对细长/倾斜结构有直接帮助；但从 ablation 看，单独引入 rotation 和 SGF 的增益是稳定但不巨大。更大的性能来源很可能来自组合因素：TerraDiT-XL backbone、2M in-domain Git-10M/OSM 数据、geolocation conditioning、REPA/DINOv3 表征对齐，以及 primitive 与影像的强地理相关性。因此不能把所有提升都归因于 GALA。
这篇论文本质上不是 reasoning 或 planning，而是把 GIS 结构作为强条件 prior 注入生成过程。所谓“泛化到多任务”也更像是条件接口覆盖了多个下游标注形态，而不是模型学会了跨任务推理。synthetic augmentation 的收益说明生成图像有可用的判别特征，但这也可能主要来自数据覆盖和 layout-preserving augmentation，而不是生成模型具备深层语义理解。
值得肯定的是，作者没有只做 token-level conditioning，而是明确意识到 dense remote sensing layout 需要显式空间 bias。这一点比把 polygon/polyline flatten 后喂 MLP 更重要。最核心贡献应归因于：primitive-aware attention prior，而不是 primitive encoder 本身。
Relation To Prior Work
这篇论文位于三条技术谱系的交叉处：DiT/flow-based satellite generation、layout-grounded diffusion、GIS primitive-conditioned synthesis。和 TerraDiT-α/Σ 的关系最直接：它继承 text/geolocation/point grounding 框架，把 ALA 从点中心 Gaussian 扩展为可旋转、可由复杂几何场调制的 GALA。
和 ControlNet/GeoSynth/VectorSynth 的本质差异在输入表示：后者把地理结构转成 raster control，本质是 dense image-to-image conditioning；TerraDiT-Ω 保留 vector primitive，并让 primitive 在 attention 中发挥作用。这个差异是实质性的，因为它改变了数据 pipeline 和重叠/拓扑信息的保留方式。
和 GLIGEN/InstanceDiffusion 的差异在 grounding bias：这些方法依赖 learnable tokens、gated attention 或 mask attention，适合自然图像中少量对象；TerraDiT-Ω 明确把几何场作为 attention prior，减少模型隐式学习几何对齐的负担。看似新的“any geospatial primitive”有一部分是已有 instance grounding 与 distance-field conditioning 的重组，但把 polygon/polyline/box/point 统一到遥感生成并以 geometry-aware local attention 方式实现，是相对实质的工程-建模结合创新。
Dataset / Evaluation
评估覆盖比较完整：既有随机测试、空间 holdout、dense scene stress test，也有下游 augmentation，包括分割、检测、道路图、场景分类。dense split 对论文 claim 最关键，因为它真正考验多实例、复杂布局和重叠几何；在该设置下 richer primitive 的结构指标提升更有说服力。
但 evaluation 也有明显限制。首先，主要数据来自 Git-10M + OSM，OSM tag 和影像之间存在强先验相关，模型可能学到很多地理位置/布局/外观共现，而不一定是 robust geometry understanding。其次，空间 holdout split 很稀疏，平均实例数低，未必能验证复杂 primitive generalization。再次，CLIPScore 对遥感和 dense tag 的有效性有限，作者也承认 general models 在 CLIP 上可能虚高。
下游 augmentation 支持“生成数据可用”这一点，但不是完全干净的证明。各任务都对 TerraDiT-Ω 做了 task-specific fine-tuning，synthetic layouts 来自真实数据变换，收益可能部分来自 label-preserving augmentation 和数据扩增，而不是生成模型本身提供了新的分布覆盖。DIOR 上 x2 后 mAP@50-95 不再提升也说明 synthetic data 很快遇到质量或分布饱和。
Limitation
第一，方法强依赖高质量 primitive。OSM 的缺失、错标、时间错位、几何偏移会直接变成错误条件；论文没有充分讨论 noisy primitive 下的鲁棒性。真实部署中，很多地区 OSM 覆盖不均，这会显著影响所谓 unified GeoAI workflow。
第二，scalability 上限还不清楚。论文 cap 了每 tile 64 instances 和每 geometry 64 vertices，并且只在 256×256、zoom level 17 设置下验证。低 zoom、大范围、高分辨率、多层复杂拓扑下，primitive 数量和 vertex 数会迅速上升，GALA 的 dense geometry field 和 instance attention 是否仍可承受，文中未充分说明。
第三，增益归因不清。GALA ablation 的改进存在，但幅度不大；最终强结果可能主要来自 TerraDiT backbone、XL scale、REPA、DINOv3、geolocation 和大规模 in-domain 数据。论文把方法贡献和 scaling/data contribution 绑定得比较紧，核心机制的独立贡献还可以更强地隔离。
第四，实例级视觉控制仍弱。primitive caption 主要是 OSM tag，不是丰富自然语言描述，因此颜色、材质、建筑高度、季节、状态等细粒度属性主要由 global text/geolocation 间接控制。所谓 primitive-level controllability 目前更多是几何控制，不是完整实例语义控制。
第五，拓扑理解可能是局部几何近似。polyline field 能帮助道路沿线生成，但不等价于显式建模 road graph connectivity、overpass 层级或交通拓扑。复杂地理关系仍可能只是通过局部 attention bias 和训练数据共现被近似。
Takeaway
- 最值得记住的不是“支持四种 primitive”，而是：遥感生成的空间控制应从 image-format conditioning 转向 native GIS representation conditioning。
- 这个方向会继续从 raster mask 迁移到 vector primitive、graph、temporal GIS record 等结构化条件。
- GALA 的可迁移 insight 是：当条件本身具有明确几何结构时，不要只把它压成 token；应把结构变成 attention prior、energy field 或 sampling constraint，直接影响空间信息流。
- 这个思路可迁移到医学影像、CAD-to-image、地图生成、机器人场景合成等几何密集领域。
一句话总结
TerraDiT-Ω 是一篇把遥感可控生成从 raster/point prompt 迁移到原生 GIS primitive 的工作，其真正贡献是用 geometry-aware attention prior 将矢量几何显式注入 DiT 生成过程，属于从通用 layout grounding 向领域结构化条件生成演化的一步。