精读笔记
Problem Setting
【Robots as Tokens: Unified Diffusion Transformer for Coordinated Multi-Robot Trajectory Generation】（arXiv preprint / 2026）
这篇论文实际处理的是 connectivity-constrained multi-robot trajectory generation：给定 occupancy map、机器人初始位置和 leader goal，生成一个短 horizon 的多机器人联合 action chunk，并在 receding horizon 中反复执行。它不是在做一般 multi-agent path finding，也不是纯 decentralized control，而是一个 centralized learned planner，输出连续轨迹，并希望同时满足 obstacle safety、inter-robot safety、global communication connectivity 和 leader progress。
真正困难点是约束之间的冲突，而不是单个约束本身。leader 的最优路径通常会穿过狭窄通道或绕障碍，followers 如果只维持通信会形成拖拽链条；但通信半径、障碍、机器人间距会共同限制队形形变空间。传统 gradient/potential-field 方法在这种多目标势场中容易局部最小；离散 topology/candidate 方法又把连续协调变成组合搜索，后面还要 smoothing/repair。任务的核心矛盾是：需要全局拓扑连通，但控制信号又必须落到局部连续运动上。
Motivation
已有路线不够的地方在于它们没有真正学习“联合可行轨迹分布”。经典 connectivity control 显式优化 λ2 或 topology，但在 cluttered maps 中反应式强、前瞻性弱；离散搜索和 GNN scoring 可以表达拓扑选择，但仍依赖候选生成和局部执行；diffusion-based multi-robot planning 虽然能生成轨迹，但通常把 feasibility 留给 projection、repair、discrete guidance 或 sequential conditioning。
作者的核心观察是：多机器人协调轨迹本身可以看作一种特殊 spatiotemporal distribution，其中机器人之间的依赖不应在后处理阶段补，而应该在生成过程内部建模。缺的不是另一个 constraint term，而是一个能同时容纳 variable team size、joint interaction、map conditioning 和 conditional generation 的统一表示。Roken 选择 transformer tokenization，本质上是把“机器人集合”变成 diffusion transformer 的一等输入对象。
Core Idea
核心思想很直接：把每个机器人当作一个 token，而不是把每条轨迹单独生成或把所有机器人轨迹拼成固定维向量。这样，多机器人轨迹生成变成 set-to-set denoising：每个 token 表示一个机器人的 noisy future action chunk 和条件信息，self-attention 负责机器人间协调，cross-attention 负责从地图 token 中抽取与当前机器人和队形相关的空间信息。
这个建模方式的实质变化是：connectivity 和 collision 这类跨机器人约束不再通过外部约束投影显式施加，而是作为训练数据中的 joint pattern 被去噪模型吸收。它引入的 inductive bias 是 permutation-invariant robot set modeling；机器人数量变化对应 token 数变化，而不是模型结构变化。相较 prior 的本质区别在于：prior 多是“先生成/搜索，再修补约束”，Roken 是“直接对联合可行分布建模”。这也是它宣称 scalable/generalizable 的主要依据。
Method
方法中值得保留的机制有四个。
第一，robot-token joint diffusion。每个机器人 token 包含 noisy relative action chunk、起点 positional encoding、goal mask 和 trajectory mask。它解决的是 variable number of robots 与 conditional planning 的接口问题：同一个模型既可以生成全部机器人，也可以固定部分机器人 token 作为条件生成剩余机器人。核心变化是把条件生成、单机器人规划、多机器人规划都变成同一个 masked denoising 问题。
第二，map-token cross-attention。地图不是作为每个机器人 ego observation，而是全局 occupancy map 经 encoder 后变成 patch tokens；机器人 token 主动查询 map。它解决的是不同机器人共享同一环境结构但关注区域不同的问题。相比把地图压成一个 global latent，这种设计让每个机器人 token 可以形成位置相关的地图读取。
第三，local occupancy reconstruction。作者明确指出 vanilla trajectory denoising 容易走 shortcut：relative goal 已经足以诱导“朝目标走”，模型可能根本不使用 map。occupancy auxiliary head 强迫中间 robot latent 重建局部障碍 patch，本质上是在提高条件互信息，让 token 必须对齐到地图空间。这是方法中机制最清楚、实验支撑最强的一点。
第四，waypoint/SDF/RL post-training。waypoint head 给短 action chunk 注入更长 horizon 的目标结构；SDF loss 给避障 margin；GRPO 用 trajectory-level reward 修补困难状态。它们主要解决可用性和边界 case，不改变核心模型范式。尤其 RL 使用 geodesic distance 和 A* waypoint deviation，已经带有明显 privileged planner supervision。
Key Insight / Why It Works
我认为这篇最核心的有效性来源不是“diffusion transformer 很强”，而是 representation alignment：机器人集合、联合约束和 transformer self-attention 的归纳偏置对齐了。connectivity 本质是机器人间关系约束，用 token self-attention 表达比把 N 个轨迹拼成向量更自然；varying N 也比固定维输出更合理。换句话说，Roken 有效是因为它把多机器人规划从 fixed-dimensional trajectory regression 改成了 set-structured conditional generation。
第二个关键 insight 是 occupancy reconstruction 解决了 conditional diffusion planning 中常见但经常被忽略的问题：条件变量被输入了，不代表模型真的使用它。这里 relative goal 是一个强 shortcut，训练 loss 可以在不理解地图的情况下下降。local occupancy reconstruction 迫使每个 robot token 在 latent 中保留“我附近是什么障碍结构”的信息，从而让 map-conditioning 变成必要信息，而非可忽略上下文。ablation 中这一项带来的跃迁说明它很可能是除 tokenization 外最实质的贡献。
第三，性能提升相当大一部分可能来自 data coverage + imitation of expert behavior。训练数据由 Laplacian/A* pipeline 生成，其中 leader 有 A* path，followers 呈 lazy movement。Roken 学到的协调策略很可能是对这种数据分布的压缩和重采样：什么时候 follower 不动、什么时候形成通信链、什么时候跟随 leader。它超过 expert baseline 并不矛盾，因为生成模型可以学习 expert 成功片段的平滑分布，避开一些 online potential-field 的局部反应失败；但这不等价于学到了可证明的 planner。
第四，所谓长期规划能力仍比较可疑。基础模型只生成 16-step action chunk，依靠 frequent replanning；waypoint head 和 RL reward 中的 geodesic/A* 信息补了长程信号。因此它更像 learned receding-horizon planner with privileged training，而不是端到端形成了强 long-horizon reasoning。部分“规划”能力可能是 retrieval-like：在相似地图局部结构和起终点分布下生成见过的协调模式。
哪些可能只是 engineering / scaling：DiT、AdaLN、SDF margin、GRPO post-training、clustered rollout 都是合理工程增强，但不是概念核心。尤其 RL 增益相对有限，且 reward shaping 很强，不能把它解释为模型自主发现新策略。真正可迁移的 insight 是：对多实体连续规划，用 entity-token diffusion 建模联合分布，并用辅助任务防止条件信息被 shortcut 掩盖。
Relation To Prior Work
它最接近三条谱系：一是 connectivity maintenance/control，包括 λ2 potential field、topology optimization、communication-aware coordination；二是 diffusion planning / diffusion policy；三是 multi-agent set/graph representation。Roken 的位置可以理解为把 diffusion policy 从 single-agent action sequence 扩展到 multi-agent set-structured action chunks。
和经典 connectivity 方法的本质差异是：Roken 不显式优化 λ2，也不在 inference 时计算 connectivity gradient；connectivity 是从数据中隐式学习到的行为分布。这让它更灵活，但也失去硬保证。
和已有 multi-robot diffusion 的差异在于：它不把 collision/connectivity 当作 sampling 后的 projection 或 guidance，而是让 self-attention 在生成过程中建模联合可行性。这个差异是实质性的，因为它改变了约束处理的位置：从 test-time correction 前移到 train-time distribution learning。
但很多元素并不新：robots-as-tokens 是 entity tokenization 在多机器人轨迹生成中的自然应用；map tokens + cross-attention 是视觉/规划模型常规做法；auxiliary reconstruction 是 representation learning 中的老思路；GRPO 用于 diffusion denoising transition 也更像把 RLHF/PPO 技术迁移到 diffusion policy。实质创新在于这些组件被组织成一个统一 multi-robot planner，并证明 robot-token diffusion 在 connectivity navigation 上可行。
Dataset / Evaluation
评估覆盖了随机 2D cluttered occupancy maps、不同 team sizes、部分观测输入和小规模真机部署。它确实验证了一个重要 claim：同一个 robot-token diffusion 模型可以在不同机器人数量下生成有一定成功率的协调轨迹，并且 auxiliary map supervision 对性能至关重要。
但 benchmark 对核心 claim 的支持仍有限。训练和测试地图来自同一 2D path-planning dataset 分布，虽然是 unseen maps，但不等于强 OOD 泛化。真机部署是有价值的 sanity check，但规模小、环境手工设计、使用先验 occupancy map、低维 omnidirectional dynamics，更多证明 pipeline 可跑，而不是证明 safety/general planning。
baseline 对比也需要谨慎解读。Roken 没有使用 inference-time A* reference，但训练数据和 RL reward 都间接/显式包含 A*/geodesic 信息；baseline 是 online classical methods，不一定代表最强 centralized optimizer 或 modern MAPF/trajectory optimization。Roken 超过生成数据的 Laplacian baseline 很有趣，但可能来自 learned smoothing、distributional averaging、replanning 和数据筛选，而非模型具备更强搜索能力。
最有说服力的是 ablation：只用 trajectory denoising 几乎学不好 map-conditioned planning，加入 occupancy reconstruction 后性能显著改善。这直接支持作者关于 shortcut 和 conditional distribution learning 的分析。
Limitation
最根本限制是 learned feasibility 没有硬约束。通信连通、避障、机器人间距都通过数据和 loss 软注入，失败时没有形式化恢复机制。作者也承认真实部署可能需要 safety shield；这意味着 Roken 更适合作为 proposal generator / high-level learned planner，而不是 safety-critical controller。
第二，泛化依赖数据覆盖。论文中的失败案例正是 local minima escape；作者解释为训练数据缺少这类示例。这说明模型并没有独立搜索能力，遇到数据外拓扑困境时会退化。所谓 reasoning 更像从训练分布中检索/组合局部协调模式。
第三，scalability 不是无限的。direct rollout 受最大 token 数限制；mixed training 的泛化范围基本在训练 team size 附近；clustered rollout 虽然能扩展，但把联合生成拆成重叠局部条件生成，会引入顺序偏差和误差累积。对于几十/上百机器人或需要全局重构通信拓扑的任务，这个范式是否仍成立文中未充分说明。
第四，长期规划能力被外部信号支撑。pretraining 数据中 leader follows A*，RL reward 又使用 geodesic/A* waypoint deviation。若移除这些 hidden planner signals，模型是否还能在复杂迷宫中规划，文中未充分说明。增益来源不清：可能是 diffusion joint modeling，也可能是 expert/A* distribution distillation。
第五，任务设定相对窄：二维静态栅格、同质 omnidirectional robots、单 leader goal、固定通信半径、短 horizon replanning。动态障碍、异构动力学、不确定通信、在线建图、多目标协作都没有真正触及。
Takeaway
- 1. 多机器人生成式规划的关键不是把 diffusion 套到更大的输出维度，而是找到 entity-level 表示；robot/entity tokens 是比固定拼接轨迹更合理的可扩展接口。
- 2. Conditional generative planning 很容易忽略条件变量。
- 辅助任务的价值不只是 regularization，而是强制 latent 与条件空间对齐；这里 local occupancy reconstruction 是可以迁移到其他 map-conditioned planning 的有效设计。
- 3. Learned multi-robot planner 可以超越在线 classical controller 的局部反应性，但代价是失去硬保证。
一句话总结
Roken 是把 diffusion planning 从单机器人轨迹生成推进到 set-structured multi-robot joint distribution learning 的一次有效工程化验证，真正贡献在于 robot-token 表示和防 shortcut 的地图条件对齐，而不是提供了有保证的多机器人规划算法。