精读笔记
Problem Setting
[A Stitch in Time Saves Nine: Preserving Policy Compatibility Under Perception Updates in End-to-End Autonomous Driving]（arXiv preprint / 2026）
这篇论文实际处理的是端到端自动驾驶中的“异步演化”问题：感知模块经常因为数据、传感器或模型升级而变化，但下游 world model / policy 因为训练成本、在线交互成本和安全验证成本，不能同步重训。关键矛盾是：端到端系统用 latent representation 作为隐式接口，这个接口没有稳定语义契约；一旦 perception latent 的坐标系、通道语义或空间几何发生漂移，旧 policy 即使本身没问题，也会因为输入分布错位而失效。
真正困难不在于训练一个更好的 perception，也不在于 policy fine-tuning，而在于如何判断并恢复“旧 policy 可消费的新 latent”。以往路线卡在两个地方：policy retraining/fine-tuning 代价太高且需要重新验证；结构化中间表示或 adapter 往往要求训练时就参与设计，不能很好覆盖已经部署、policy 冻结、只想替换 perception 的维护场景。
Motivation
已有端到端驾驶系统把 perception 和 planning 的耦合视为性能来源，但部署维护时这反而变成技术债。作者抓住的观察是：感知模型虽然参数不同、传感器不同甚至训练域不同，只要受到相似 BEV segmentation / detection 等任务监督，高层表示里仍可能保留相似的 task-relevant geometry。换句话说，性能崩溃未必来自任务信息丢失，而可能只是这些信息在 latent space 中被重新编码了。
这就打开了一个比 retraining 更便宜的方向：不重新学习驾驶策略，只修复 perception-policy 之间的 latent interface。关键缺口是已有 representation similarity / model stitching 多停留在视觉分类或表征比较，缺少对 closed-loop policy behavior 是否可被 latent alignment 保持的验证。
Core Idea
核心想法是把 perception update 后的系统维护问题，从“重新训练下游策略”改写为“恢复 latent compatibility”。旧 perception 产生的 latent 是旧 policy 的训练分布；新 perception 产生的 latent 可能包含相同任务因素，但坐标系不同。论文在二者之间插入一个低复杂度 stitcher，使新 latent 被投回旧 policy 可解释的空间。
这个建模方式的本质变化在于：policy 不再被看作需要适应新 perception 的可训练模块，而被看作一个固定消费者；需要学习的是接口翻译层。它引入的 inductive bias 是“任务相关 latent structure 比具体 encoder 参数更稳定”，并且这种稳定性在 BEV / detection supervision 下足以被线性或浅卷积映射捕获。相比 prior 的 adapter 或 decoupled training，它更像 post-hoc compatibility repair：不要求重新设计整套系统，也不试图提升 policy 上限，只追求保留旧系统行为。
Method
方法的机制层面很简洁。
第一，定义 target encoder-policy 路径作为行为参考，source encoder 是更新后的感知模块，stitcher 学习从 source latent 到 target latent 的映射。它解决的是 policy 输入分布错位，而不是 perception task 本身。
第二，使用 paired observations 或共享监督作为 alignment anchor。这个设计必要性很强：没有同一场景实例下的新旧表示对应，就无法区分“语义变了”还是“坐标系变了”。这里的 paired data 实际承担了接口标定集的角色。
第三，线性 stitcher 用来检验小 shift 是否近似 affine；卷积 stitcher用于处理保留 BEV 空间结构但通道/局部语义错位更复杂的情况。1x1 convolution 的意义不是增加表达能力到足以重训 perception，而是在尽量不破坏空间拓扑的情况下做 channel-wise / local feature remapping。
第四，冻结 perception 和 downstream policy，仅优化 stitcher。这个约束是论文的核心，不是训练技巧：它把问题限定为 compatibility，而不是重新优化驾驶性能。
Key Insight / Why It Works
最重要的 insight 是：端到端驾驶中的很多 catastrophic degradation 可能不是因为新 perception 没有任务信息，而是因为任务信息的 latent coordinate system 对旧 policy 不兼容。只要 task-relevant factors 仍在，并且 supervision 强到足以约束高层结构，低复杂度 alignment 就可以恢复 policy 可读性。
这篇最可能成立的机制是 representation alignment，而不是 scaling、retrieval、test-time compute 或 policy learning。BEV segmentation / 3D detection 给 latent 施加强空间与语义约束，使不同 encoder 更容易形成可对齐的结构；stitcher 本质上复用了旧 policy 的 decision boundary / dynamics model，只把新表示翻译成旧接口。这也是它高效的根源：没有重新探索、没有重学控制，只是在校准接口。
线性 stitching 在初始化或轻微模型变化下有效，说明这类 shift 大多是坐标旋转/缩放/偏移；sensor/domain shift 下线性失败而 1x1 conv 有效，说明空间拓扑可能仍稳定，但通道语义和局部组合发生了更复杂的重排。这里卷积 stitcher 的成功不是神秘泛化，更可能是 BEV-like feature map 已经把几何对齐问题大幅结构化了。
需要直接指出：所谓跨域恢复很可能依赖强 supervision、paired calibration、CARLA evaluation 分布以及源/目标任务结构高度重合。它不能证明“任意真实感知升级都可 stitch”。如果新模型引入新信息、丢失旧 policy 依赖的隐变量，或 domain shift 改变了 causal factor，stitcher 只会做外观上的 latent repair，甚至可能把错误编码成旧 policy 熟悉但危险的输入。
Relation To Prior Work
这篇最接近的是 model stitching、representation similarity analysis、relative representation，以及自动驾驶中的 adapter / modular interface 设计。它的新意不在于发明 stitching，也不在于线性/卷积对齐本身；这些都是已有思想。真正新增的信息是把 stitching 放到 frozen-policy closed-loop driving 这个部署场景里，并把 evaluation 从 representation similarity 推到 policy compatibility。
相对 policy fine-tuning / RL refinement，它不是 policy adaptation，而是 policy preservation。相对 VAD、DriveAdapter、Learning by Cheating 等训练期解耦方法，它不是设计一个更好的中间表示，而是在已有系统之后补一个兼容层。相对传统 model stitching，它的实质推进是：证明在具有安全敏感闭环反馈的 driving stack 中，latent alignment 的成功可以转化为 downstream behavior recovery，而不只是 decoder accuracy 或 classification loss。
所以它属于“post-hoc representation compatibility / latent interface maintenance”这条技术谱系。看似新颖的部分不少是 representation stitching 的重组；实质创新是问题设定和 closed-loop 验证，而不是 stitcher 架构。
Dataset / Evaluation
评估覆盖了从轻微初始化变化、VAE/AE 表征变化、单/多模态 sensor shift、sensor setup 变化，到 nuScenes-to-CARLA 的 domain shift。这个设计基本能支撑论文的中心 claim：perception update 会破坏 frozen policy，而 lightweight stitching 在若干受控 shift 下能恢复兼容性。
但 evaluation 的边界也很清楚。closed-loop driving 主要在 CARLA 的特定场景上验证，真实世界数据 nuScenes 更多作为 perception training/source domain，而不是真实车闭环部署。跨域设置是 real-to-sim，不是 sim-to-real 或 real-to-real deployment；这降低了 claim 的外推强度。Case 7 也更多验证 representation alignment / detection metric，而不是完整 driving behavior。
实验强项是对比 no-action、retraining、fine-tuning、linear stitching、conv stitching，能显示崩溃来自接口错位而不是单纯性能不足。弱项是没有充分说明 calibration data 的覆盖需求、长尾场景安全性、stitcher 在 OOD 下是否会产生 silent failure，以及 driving score 是否足够反映策略兼容性的风险边界。
Limitation
第一，核心前提很强：新旧 perception 必须保留相同或高度重叠的 task-relevant factors。如果 perception update 改变了表示的因果语义、丢掉了旧 policy 依赖的隐变量，或引入旧 policy 从未学过的新因素，低复杂度 stitcher 没有能力解决。
第二，方法把问题从 policy retraining 转移到 calibration coverage。论文强调不需要 online interaction，但仍需要 paired/offline data 来标定 latent interface；如果 calibration set 不覆盖关键交通状态，closed-loop 里可能出现高置信错误。文中未充分说明 sample coverage 与安全边界的关系。
第三，跨域增益来源不清。conv stitching 在 nuScenes-to-CARLA 上效果很强，但可能主要来自 BEV supervision 的结构约束、任务分布重合、CARLA 场景有限、以及 target decoder/policy 已经对目标域高度适配。不能据此推出真实开放世界 domain shift 下同样成立。
第四，它没有解决 perception quality 本身的问题。若 source encoder 在新域上的 semantic detection/segmentation 已经错，stitcher 最多把错信息翻译成旧 latent 格式。这里的“compatibility”可能掩盖 perception failure，而不是暴露 failure。
第五，安全验证仍未真正消失。虽然只更新 0.001% 参数，但接口层改变会影响整个闭环策略，仍需要行为级验证。参数少不等于风险小。
Takeaway
- 1. 端到端系统的 latent interface 应该被当作一等公民维护；感知升级后的主要风险不只是 perception metric 下降，而是 policy compatibility 破裂。
- 2. 对于有强几何/语义监督的驾驶表示，很多更新带来的性能崩溃可能可由低复杂度 representation alignment 修复，这比重训 policy 更符合部署维护逻辑。
- 3. 未来更值得做的不是继续堆更复杂 stitcher，而是建立可预测的 stitchability 条件：什么 supervision、什么 shift、多少 calibration coverage、什么 alignment metric 能预示 closed-loop safety。
- 4. 这个 insight 可迁移到其他 end-to-end embodied systems：当下游 controller 昂贵且稳定，上游 perception / encoder 频繁变化时，post-hoc latent compatibility layer 可能是比端到端重训更现实的演化路径。
一句话总结
这篇论文把 model stitching 从表征比较推进到端到端自动驾驶的部署维护场景，真正贡献是提出并验证“冻结策略下的 latent interface repair”可以作为感知模块演化后的低成本兼容性机制。