精读笔记

Problem Setting

论文标题：Planning-aligned Token Compression for Long-Context Autonomous Driving（arXiv preprint / 2026）。

这篇论文不是在做通用长上下文 Transformer，也不是单纯给自动驾驶 VLA 加速；它瞄准的是一个更窄但很实际的问题：单体式 vision-action policy 在需要 5-10 秒历史交互信息时，视觉 token 序列爆炸，而现有压缩方式不知道哪些历史 token 对未来决策重要。

真正困难点在于驾驶历史信息的价值不是单调随时间衰减的。四向停车、动态遮挡、无保护转弯这类场景中，决定行为正确性的变量可能是几秒前某辆车何时到达、是否减速、是否曾经被看见，而不是当前帧最显著的视觉区域。传统 temporal decay、稀疏采样或 similarity-based token merging 都会天然偏向最近/冗余压缩，无法区分“视觉上普通但决策上关键”的历史线索。

这个任务的关键矛盾是：VA/VLA 想保持端到端、token-native 的统一架构，但驾驶又需要某种 persistent state；如果显式建图/检测/跟踪，会破坏 monolithic 叙事；如果直接堆长历史，实时预算和 attention 复杂度不可接受。COMPACT-VA 试图在两者之间插入一个 bounded working memory。

Motivation

已有路线的问题不是单点效率不够，而是压缩目标错了。Linear attention / SSM / sparse attention 主要解决计算复杂度，不告诉模型该记住什么；external memory 引入结构但可能需要改 backbone 或额外状态接口；token pruning / merging 多数根据时间、相似度或视觉 saliency 做选择，和 planning loss 没有直接耦合。

作者的核心观察很明确：在 memory-critical driving 中，更多历史并不必然带来更好决策。论文里 dense 5s history 反而比短历史差，这个现象比最终数字更重要。它说明在 monolithic policy 里，长上下文如果没有结构化压缩，可能只是增加 attention 噪声、优化难度和分布偏移。

因此缺的不是“长上下文能力”本身，而是一个 task-aligned bottleneck：压缩器必须知道最终行为选择是什么，才有可能保留到达顺序、遮挡前状态、让行趋势这类低显著但高决策价值的信息。

Core Idea

核心思想是把历史 token 压缩从一个输入预处理问题，改写成一个与未来规划意图对齐的 representation learning 问题。COMPACT-VA 不要求 compressed memory 重建原始视觉，也不按固定时间窗口保留 token，而是通过未来轨迹蒸馏出的 latent intent 来约束 memory：压缩后的历史观测必须足以预测这个 intent，并最终支持 trajectory token prediction。

这个建模改变的本质在于信息流：未来轨迹只在训练时进入 posterior encoder，提炼出“这段历史最终导致了什么驾驶意图”；prior encoder 在训练和推理时只能看 compressed observations，必须从历史中恢复这个 intent。于是压缩模块若丢掉影响 stop/go/yield 的线索，会同时受到 KL mismatch 和 planning loss 的惩罚。

和 prior 的本质区别不是用了 Q-former 或 VQ-VAE，这些都是已有组件；真正新增的是把 memory compression 的充分性定义为“能否预测 planning-relevant latent”，而不是“能否保留视觉信息”或“能否减少 token”。这给单体 VA policy 引入了一个弱形式的 belief bottleneck。

Method

方法层面可以压缩成三个必要机制。

第一，层级 temporal buffer 解决 bounded memory 的结构问题。它仍然保留 temporal decay 的 inductive bias：最近帧高分辨率，远期帧强压缩。这个设计并不新，但合理，因为驾驶交互通常依赖短中期历史，而不是无限记忆。它提供的是稳定 token budget 和时间尺度先验。

第二，query-based learned compression 解决“怎么从每帧视觉 token 中抽取少量摘要”的问题。Q-former 的作用不是创新 attention，而是给每个时间层一个可学习的低维接口，让压缩不是固定 pooling。关键变化是 token 数固定，但被保留的信息可由 downstream loss 塑形。

第三，planning-aligned cVAE/VQ latent 解决“压缩器如何知道什么重要”的问题。Posterior 从未来轨迹抽取 intent，prior 从 compressed memory 预测 intent，policy 使用 prior latent 作为 special token。这里 latent 既是训练信号，也是推理时的行为条件变量。它把历史压缩、意图预测、轨迹生成绑成同一个优化闭环。

需要注意：论文中许多实现细节，如 FSQ/trajectory tokenization、RoPE scaling、codebook size、具体压缩比，本质上是工程选择；方法成立的关键不是这些，而是 planning latent 对压缩器施加的信息瓶颈约束。

Key Insight / Why It Works

这篇最重要的 insight 是：对自动驾驶长历史而言，压缩质量不能用视觉保真度衡量，而要用未来决策充分性衡量。这个判断是对的。很多驾驶错误来自“当前观测不足以解释交互状态”，例如谁先到、谁让谁、遮挡对象是否仍存在；这些变量在像素空间未必显著，但在 future trajectory 中会显式体现为 stop/go/yield 模式。

方法有效的主要原因大概率是 representation alignment，而不是更强推理。cVAE latent 把连续轨迹预测问题离散/低维化为行为意图簇，prior 必须从历史 memory 中恢复该簇。这相当于给 compression 加了一个辅助监督：保留那些能解释未来动作模式的历史证据。相比直接 trajectory CE，latent matching 可能提供更干净的梯度信号，尤其是对 stop/go 这种离散决策。

第二个有效因素是 regularization。Dense long history 可能让 transformer 在有限数据下过拟合或注意力分散；压缩 memory 实际上强制模型丢掉大量无关视觉细节，提升了有效信噪比。因此部分增益可能来自更好的 bottleneck regularization，而不一定是模型真的学会了显式记忆。

第三个因素是 benchmark 与方法高度匹配。作者选择的 stop-controlled / gap acceptance 场景确实是 planning-aligned memory 最容易显效的地方，因为未来轨迹 latent 和行为标签之间强相关。这里的“planning”更像从历史视觉到未来轨迹模式的 retrieval / classification，而不是开放式因果推理。

最可能的核心贡献是 posterior-future latent 对 compression 的约束；层级 FIFO 和 Q-former 是辅助但必要的工程骨架。VQ 离散技能是否是核心不确定：连续版本表现相近，说明离散 codebook 可能不是主要增益来源，更多是提供可控 bottleneck 和模式分离。

Relation To Prior Work

它最接近三条线的交叉：Compressive Transformer 式 bounded memory、BLIP-2/Q-former 式 query compression、world-model / CVAE 式 latent intent learning。论文的新意不是提出这些组件，而是把它们放进 VA driving policy 的 token budget 问题里，并用 future trajectory latent 对 compression 施加 planning alignment。

相对 token pruning / ToMe / temporal decay，真正不同点是压缩准则从 input-driven 变成 task-driven。不是哪个 token 相似就合并，也不是越旧越丢，而是哪些历史信息能帮助预测未来驾驶意图就保留。

相对 linear transformer / SSM，它不是在改变 backbone 的复杂度，而是在 backbone 前构造固定长度 memory。这更容易接入已有 VA/VLA policy，但上限也受限：它没有获得真正无限上下文，只是在 5s 左右窗口内做更聪明的信息筛选。

相对 modular autonomous driving 的 tracking/belief state，它仍然没有显式对象级状态、交互图或规则推理。可以看作端到端路线对模块化 memory 的一次隐式替代：用 latent bottleneck 逼模型内部学出对 planning 有用的状态摘要。

实质创新在于“compression-supervision via future intent”。看似新的 planning-aligned working memory，本质是把 hindsight trajectory information 用作训练时 privileged signal，训练一个推理时可由历史观测预测的 latent interface。

Dataset / Evaluation

评估设计是这篇论文比较清醒的部分：作者没有只报 minADE，而是针对 stop/go/roll-through/stop duration 设计行为指标。这比常规 open-loop displacement 更能验证 memory-dependent decision。尤其 Go SR 被设为主指标是合理的，因为 proceed timing 往往比 stop 本身更依赖历史交互。

但 evaluation 的支持范围也很窄。核心 open-loop 实验是在 curated memory-dependent subset 上训练和验证，约为数据集的一部分，且筛选条件包含明确的 deceleration-stop-acceleration 模式。这有利于把问题变成高信号行为分类，但也可能放大方法优势；泛化到更开放的长尾交互未被充分证明。

闭环评估主要是在一般驾驶场景上验证不退化和效率收益，而不是验证 memory-critical 场景的闭环改进。文中也承认 Alpasim 缺少足够 stop-controlled reconstructions。因此闭环结果不能强力支持“规划对齐记忆改善复杂交互决策”的核心 claim，只能说明压缩模型在 nominal driving 上没有明显坏掉。

没有真实车部署，没有跨数据集验证，也没有严谨测试 OOD 交互组合。benchmark 是否存在 train/val 场景模式 overlap 文中未充分说明。若数据中 intersection 类型、行为模式、route intent 高度重复，latent prior 可能学的是模式检索而不是稳定的因果 memory。

Limitation

最大限制是方法把“该记住什么”的问题转移给 future trajectory latent，但这个 latent 是否捕捉了真正的因果决策变量并不清楚。它可能只是轨迹聚类标签：停多久、何时走、转弯形态，而不是显式理解谁有路权、哪辆车被遮挡、gap 是否安全。

第二，泛化依赖数据覆盖。对于 imitation-based future latent，如果训练集中没有覆盖某类交互策略或罕见交通规则，prior 不会凭空形成 reasoning。核心能力可能主要来自数据覆盖和 curated scenario distribution，而不是方法本身具备通用规划推理。

第三，memory horizon 上限明确。作者强调 5-10 秒适合 driving working memory，这在很多路口交互中成立，但对更长时间遮挡、复杂多智能体博弈、地图/路线级记忆并不够。层级 FIFO 是 bounded window，不是长期状态估计。

第四，增益归因不完全清晰。Compression w/o plan-align 已经有明显提升，说明 bottleneck 和历史轨迹 conditioning 本身贡献很大；plan-align 的额外收益存在但不巨大。连续 latent 与离散 latent 接近，也削弱了 VQ skill 作为核心机制的必要性。

第五，closed-loop 证据不足。open-loop 行为指标更贴合 claim，但真实部署中 latent prediction error 会随闭环状态分布偏移累积。文中未充分说明 prior latent 在 OOD closed-loop rollouts 中是否稳定，也没有展示 memory 失败案例的系统分析。

Takeaway

• 1. 长上下文驾驶的关键不是扩 context，而是把 memory bottleneck 对齐到 planning objective；否则更多 token 可能只是噪声和优化负担。
• 2. Future trajectory 是很强的 privileged supervision。
• 用 hindsight intent 训练历史 memory，是端到端驾驶里替代显式 belief state 的一条可行路线。
• 3. 对 embodied/VLA 系统，token compression 未来大概率会从 input-centric compression 演化到 task-conditioned compression：压缩器不再问“哪些 token 冗余”，而是问“哪些 token 对动作充分”。

一句话总结

COMPACT-VA 是一篇把长历史 token compression 从工程加速问题推进到 planning-aligned memory bottleneck 的工作，真正贡献在于用未来轨迹意图监督历史压缩，而不是提出新的压缩模块本身。