精读笔记

Problem Setting

这篇论文处理的不是一般的视觉控制，也不是单纯提高 JEPA world model 的规划性能，而是解决 sub-billion JEPA latent world model 在训练时被绑定到单一 inference paradigm 的问题。现有 PLDM / DINO-WM / LeWM 一类方法训练 action-conditional latent dynamics，然后默认用 trajectory optimization；V-JEPA-2-AC 类路线则另训 action head 做直接控制。问题在于部署时 constraints 不固定：有时有 goal observation 和搜索预算，适合 CEM planning；有时延迟敏感，想直接读 action；有时希望先预测未来 latent 再做 inverse dynamics。真正困难是这些调用方式对应不同的条件分布：有的给 clean action、要 next latent；有的给 clean next latent、要 action；有的 action 和 state 都带噪。单一训练目标只覆盖其中一个角落，其它调用本质上是 distribution shift。Qantara 的任务矛盾是：如何让一个小 JEPA checkpoint 同时成为 forward model、policy sampler 和 inverse model，而不是为每种 inference path 训练专用头或专用模型。

Motivation

已有路线不够的原因不是模型不会预测 latent，而是训练目标没有对齐部署查询方式。JEPA planning 模型学到的是“给 action 预测 future latent”；direct BC 模型学到的是“给 state 预测 action”；pixel-space unified denoising 模型虽然能统一这些范式，但通常靠大模型和像素级 joint denoising 支撑，代价高且不属于轻量 latent JEPA 路线。作者的核心观察是：planning、BC、inverse dynamics 可以被看作同一个 action-state 噪声平面上的不同边界查询。如果训练只在一个边界上采样，checkpoint 自然不能泛化到其它边界；如果训练覆盖所有部署会访问的边和角，则同一 predictor 有机会在 inference 时被重新路由。关键缺口因此不是缺一个更大的 planner，而是缺一个能把多种 conditional query 显式纳入同一 JEPA 训练几何的 objective。

Core Idea

Qantara 的核心思想是把 JEPA world model 从“只学习 action-conditioned latent transition”改成“学习 action token 与 next-latent token 的联合 bridge-flow denoising 场”。这个改变把 forward dynamics、behaviour policy、inverse dynamics 统一为同一个 predictor 在不同噪声边界上的读法。它不是给同一 encoder 接三个 head，而是让同一 trunk 在训练时反复看到这些条件化组合，从而让 inference-time dispatch 成为选择查询路径，而不是选择模型。

最关键的 inductive bias 是 state 轴不用普通 noise-to-data diffusion，而用 Brownian bridge 从 z_t 过渡到 z_{t+1}。这非常贴合控制中的 rollout 结构：planner 在每一步本来就有上一 latent z_t，所以让 tau_z=0 对应 z_t，比让模型从高斯噪声恢复 latent manifold 更合理。action 轴则没有这样的 anchor，所以仍用 noise-to-action flow。再配合 edge-aligned sampling，训练分布被压到 inference 真正查询的四条边，而不是二维内部。这一点是和 prior 的本质区别：prior 要么只训练 forward edge，要么在 pixel-space 大模型里做 generic joint denoising；Qantara 显式把 latent JEPA 的训练质量集中到 control dispatch 的几何边界上。

Method

方法上值得保留的机制不是 transformer 细节，而是三个约束如何共同消除 inference mismatch。

第一，state Brownian bridge 解决的是 forward rollout 的 source mismatch。若 state 轴从高斯噪声开始，模型必须学会从 off-manifold noise 回到 latent manifold；但实际 planning 调用时输入是 z_t。把桥的起点设为 z_t，相当于把任务改成建模局部 latent displacement，这更符合 JEPA transition 的结构，也减少了 rollout 初期不稳定。

第二，action flow matching 解决的是 action 没有自然 anchor 的问题。action 在 BC、inverse、planning proposal 中都可能未知或待采样，因此 noise-to-data flow 是合理的统一接口。这里 action head 学的不是 deterministic regression，而是一个可从噪声积分到 action 的 velocity field，使同一 head 可在 policy edge 与 inverse edge 上复用。

第三，edge-aligned tau sampling 解决的是多范式训练的 coverage 问题。uniform 采样二维内部看似更全面，但 inference 几乎只访问边和角；因此 interior coverage 反而稀释了容量。Qantara 把 batch 复制到 forward、policy、inverse、video 四条边和 joint diagonal，本质上是一个针对 test-time query distribution 的 curriculum / importance sampling。

第四，state residual + zero-init 不是装饰，而是稳定 bridge rollout 的结构先验。它让初始 predictor 等价于 identity z_{t+1}=z_t，避免早期训练时 CEM 多步 rollout 直接漂离 bridge marginal。这个设计更像数值稳定性约束，而非表示能力提升。

Key Insight / Why It Works

最重要的 insight 是：多范式能力不是来自“模型足够大所以自然会泛化到其它条件分布”，而是来自训练分布与 inference query geometry 的精确对齐。Qantara 把 action-time / state-time 平面上的四条边当作真实任务分布，把二维内部视为无用区域；uniform interior sampling 的退化基本证明了这一点。这个判断很强：在这类 joint denoising 控制模型里，覆盖所有噪声时间并不等于覆盖有用条件分布，test-time access pattern 才是训练采样的主导因素。

第二个有效原因是 representation alignment。state bridge 的 tau_z=0 被定义成 z_t，使 forward planning 查询落在训练 manifold 上；这比从随机噪声预测 next latent 更接近局部 dynamics learning。它降低了 JEPA latent 模型在短 horizon 控制中的难度，也解释了为什么 residual parameterization 会重要。这里的贡献不是 Brownian bridge 本身，而是把 bridge endpoint 选成控制 rollout 已知量。

第三个值得注意的是 corner co-regularization。去掉 policy / inverse / joint 会让 Push-T 甚至在 planner path 上不稳定，说明这些 mode 并不只是服务各自 inference path，而是在 shared trunk 中提供额外的条件约束，帮助模型学到 action-sensitive latent transition。这个现象目前文中解释不足，但很可能是多条件训练在 contact-rich environment 中提供了更强的 local identifiability：forward edge 只告诉模型 action 如何推 latent，inverse / policy edge 反过来约束哪些 latent change 对应可行动作。

我会把核心贡献归因为 better inductive bias + query-distribution matching，而不是 scaling。模型只有约 21M，结果不像是容量堆出来的；但 goal-blind BC / video-inverse 的成功很可能部分来自 data coverage 和 benchmark 可观测性。Push-T 图像里目标 pose 可见，Two-Room / Cube 的评估又从 demonstration window 初始化，goal-blind policy 能成功并不证明它学到了通用目标推理，更像 imitation continuation 加上环境 tolerance。Reacher 上失败直接暴露了这一点。

哪些可能只是辅助：block-causal transformer、per-token AdaLN、K-step Euler、cumprod tau chain 更像工程上使训练可行的 recipe；SIGReg 是 JEPA anti-collapse 必需品，但不是这篇关于 multi-paradigm 的核心新意。哪些可能是 engineering / evaluation artifact：LeWM reproduction 与 published LeWM 存在明显 protocol gap，dropout 调整也带来性能差异，因此绝对 SOTA 数字不能过度解读；真正可信的是 sampler / mode ablation 对机制的支持。

Relation To Prior Work

最接近的技术谱系有两条。第一条是 JEPA latent world model：PLDM、DINO-WM、LeWM 都在 latent space 做 forward dynamics，然后通过 CEM 或类似 planning 使用。这条线的优势是小模型、低维 planning、无需像素生成；缺点是 checkpoint 被 forward planning 绑定。Qantara 对这条线的实质新增是把 action 与 next latent 的联合 denoising 作为训练目标，并让同一 latent JEPA predictor 支持 policy / inverse dispatch。

第二条是 pixel-space joint state-action denoising：PAD、UVA、UWM、DUST、Cosmos Policy 等模型已经把 observation/action 放进统一 diffusion 或 denoising transformer，从一个 checkpoint 读出 policy、inverse、world model。Qantara 的区别不是“首次统一多范式”，而是把这个思路移植到 sub-billion JEPA latent space，并且用 Brownian bridge + edge sampling 解决 latent rollout 的条件化问题。换句话说，它更像是把 unified denoising control 的范式压缩进 JEPA world model，而不是发明全新的控制范式。

看似新的部分中，flow matching、Brownian bridge、diffusion forcing、clean-prefix conditioning 都有前身；真正新增的信息是这些组件如何按 control inference geometry 组合：action 轴无 anchor，所以 noise-to-action；state 轴有 z_t anchor，所以 bridge-to-next；训练只采 inference 边界，所以 edge-aligned。这个组合是实质创新。video-inverse composition 本身与 video-as-policy / Decision Diffuser 的 factorization 有明显血缘关系，但这里在 latent JEPA 中 point-evaluate next latent，再 inverse 出 action，属于已有思想的有效重组。

Dataset / Evaluation

评估覆盖了导航、2D contact manipulation、3D pick-and-place、precision motor control，作为验证“同一 checkpoint 可服务多 dispatch”的初步证据是够的；但它不是强泛化评估，也不是真实部署评估。所有实验都是 simulation、offline near-expert data、每环境单独训练，而不是大规模跨任务共享模型。多任务 claim 实际是 multi-paradigm，不是 multi-environment foundation model。

核心 claim 中最被支持的是：在相同 checkpoint 上，不同 inference dispatch 可以被调用，且 edge-aligned training 对性能关键。最没有被充分支持的是：goal-blind BC / video-inverse 是通用可部署替代 planner。它们在 Push-T 成功很大程度因为目标信息在 pixels 中可见；在 Two-Room / Cube 成功依赖 demonstration continuation 与 success tolerance；在 Reacher 直接接近失效。也就是说 evaluation 支持“一个模型有多个可用接口”，但不支持“所有接口在一般目标条件控制中等价可用”。

SOTA 数字需要谨慎。作者重跑 LeWM 后发现与 published LeWM 有 protocol-level gap，说明跨论文表格比较并不完全干净。更有说服力的是同 pipeline 下 Qantara 对 LeWM reproduction 的优势，以及 ablation 中 uniform sampler / mode removal 的明显退化。

Limitation

Qantara 成立的前提很明确：offline data 必须覆盖 near-expert continuation，latent encoder 必须通过 SIGReg 保持非塌缩且有足够 task-relevant geometry，inference horizon 必须足够短以便 MPC 频繁重规划纠错。离开这些前提，multi-paradigm dispatch 很可能退化为数据分布内的 action retrieval。

所谓 planning 仍然是短 horizon latent rollout + CEM，不应解读为长期 reasoning。Horizon 增长时 latent prediction error 如何累积、edge-trained predictor 是否能支撑 chunked multi-block rollout，文中未充分说明。当前每步只 denoise one block，长期状态建模能力基本没有被严格验证。

goal-blind 分支的泛化非常有限。没有 goal observation 的 BC / video-inverse 能成功，往往因为当前 observation 暗含目标或 demonstration policy 几乎确定；在 precision target 上失败说明它没有解决一般 goal-conditioned control。把 z_g 注入 BC dispatch 是自然扩展，但本文没有做，所以 multi-paradigm claim 仍偏向 interface-level，而非 capability-level。

增益归因仍有不清楚的地方。edge sampling 的因果证据很强，但 SOTA 提升还混有 LeWM reproduction protocol、dropout ablation、loss weighting、SIGReg、training stability 等因素。corner co-regularization 是有趣现象，但机制没有理论解释；它可能是 shared trunk 的 regularization，也可能是 Push-T 数据 / contact dynamics 特有的训练稳定性问题。

scaling 上限未知。小模型上 edge-only sampling 有效，但大模型是否需要 interior coverage 来支持更灵活 conditional generation 未知；真实机器人中 observation noise、domain shift、action latency、partial observability 都可能破坏 latent bridge 假设。

Takeaway

• 1. 最值得迁移的原则是：生成式控制模型的训练采样应匹配 inference query distribution，而不是追求噪声时间空间的均匀覆盖。
• 对多接口模型尤其如此。
• 2. 在 latent world model 中，state denoising 的 source endpoint 应优先选择 deployment 已知量。
• Qantara 把 z_t 作为 Brownian bridge 起点，比从高斯噪声恢复 latent 更符合控制 dynamics，这个 insight 可迁移到其它 latent diffusion / flow world model。

一句话总结

Qantara 是把 unified state-action denoising 控制范式压缩到小型 JEPA latent world model 中的一次有效重组，真正贡献在于用 Brownian state bridge 和 edge-aligned flow training 让同一 checkpoint 的多种 inference 查询落回训练分布。