精读笔记

Problem Setting

这篇论文真正处理的是 video world model 的长时视觉记忆，而不是一般 long video generation。核心场景是：模型沿着交互轨迹生成视频，离开某个区域后再回来，是否还能保持墙体、房间布局、物体身份、动态对象外观和局部细节一致。

真正困难点在于“相关历史”不是一个简单的几何概念。FOV overlap 在无遮挡静态场景里足够，但一堵墙、一个移动的人、一个状态发生变化的物体都会让几何相近与视觉可用性脱钩。点云/几何检索可以缓解部分空间问题，但动态物体和生成模型内部表征需求仍然无法由外部规则捕捉。

关键矛盾是：长历史全部输入不可承受，只检索少量上下文又需要知道当前预测究竟需要什么；而这个“需要什么”本身依赖生成模型的 latent state、denoising timestep 和预测帧位置。以前方法卡在把 memory retrieval 当作模型外部的工程规则，而不是生成过程中的可学习信息路由。

Motivation

作者的核心观察是：memory failure 不是单纯因为历史帧不够多，而是模型不知道如何从历史中取出对当前生成有用的信息。规则检索隐含假设是静态世界、几何关系可靠、相似视角对应相似内容；这些假设在遮挡和动态物体下很脆。

因此缺的不是另一个 memory representation，而是一个 prediction-conditioned 的 memory access mechanism。换句话说，检索标准应该由生成任务反向塑造：当前 P token 在当前 diffusion step 需要什么，Q token 就去历史 C token 里找什么。

这也是为什么作者没有走 3D reconstruction 或 feature compression 的路线。3D memory 会引入重建误差和动态场景建模问题；压缩 memory 会提前丢信息；规则 context retrieval 又太硬。MemLearner 选择把 retrieval 变成 DiT 内部 attention 学到的 soft operation。

Core Idea

MemLearner 的核心思想是把“取哪段历史”从帧级规则检索改成 token-level learned query。它引入 Q token 作为 C token 与 P token 之间的中介：Q 先看 P，知道当前要生成什么；再看 C，从历史里抽取需要的视觉证据；最后 P 从 Q 读取 memory 来生成一致结果。

这改变了 memory 的建模方式。prior 方法通常先在模型外部决定上下文，再把选中的帧作为条件喂给生成器；MemLearner 则让生成器内部决定历史信息如何被使用。这个差异很本质：外部 retrieval 优化的是几何或相似性，内部 query 优化的是生成损失。

它引入的 inductive bias 是“历史访问应当由未来预测需求驱动”。这比 FOV overlap 更 generalizable，因为遮挡、动态对象、局部纹理、语义身份这些因素不必显式写进规则，而可以通过预训练 video DiT 的视觉先验和 diffusion loss 被间接学习。

Method

方法上最关键的是三件事。

第一，Q token 是 memory bottleneck。它不是为了压缩整个历史，而是为了把长期上下文访问变成一个可学习的信息路由问题。P 不直接 attend 到所有 C，避免计算爆炸，也迫使模型学习“哪些历史信息值得传给生成”。

第二，query 发生在预训练 video DiT 本体内，而不是外接一个新 Transformer。这个选择非常关键。外部模块虽然看起来更模块化，但它的表征空间和生成模型不对齐，diffusion loss 很容易让主模型忽略它。使用 DiT 本身做 query，相当于复用已有视觉 correspondences、时空建模和 denoising prior。

第三，只在浅层访问完整 C，深层只保留 Q 与 P。这个设计的含义是把 context querying 当作早期 encoding / evidence gathering，而把后续层留给 generation。它不是单纯加速技巧，也是一种结构假设：长期历史只需在浅层被抽取成适合生成的中间条件，深层不必反复扫描原始历史。

第四，Q 必须 attend 到 P。消融显示去掉 Q-to-P 后性能大幅下降，这说明 Q 不是固定 memory reader，而是 prediction-conditioned query。这个点比“加 query token”本身更重要。

Key Insight / Why It Works

我认为真正有效的原因主要是 representation alignment，而不是 query token 这个形式本身。论文里 separate module 失败得很彻底，说明长期 memory query 不是一个可以从零轻易学出来的小模块；它必须和生成模型内部 token space、attention geometry、denoising dynamics 对齐。MemLearner 成功的关键在于把 query 放进预训练 DiT 的已有表征流里，让 query 使用同一套视觉先验。

第二个有效点是 prediction-conditioned retrieval。传统 CaM/VMem 先决定 context，再生成；MemLearner 让 P 参与决定 Q 查什么。这使得 memory access 随帧位置和 diffusion timestep 改变。早期 timestep 更偏全局布局，后期更偏局部细节，这个现象与 diffusion 生成过程是吻合的。

第三个有效点是它把 hard retrieval 变成 soft token routing。遮挡和动态物体下，正确 memory 往往不是某一帧整体，而是多个历史帧中不同区域、不同 token 的组合。规则检索只能选帧，MemLearner 可以在 attention 层面混合局部证据。

但需要直接说：这不是强意义上的 world model memory。它更像 learned visual retrieval plus generation-conditioned attention。没有显式状态更新、对象持久性、因果状态变量或选择性遗忘。所谓 memory 主要是上下文复用，而不是形成可编辑、可推理的长期世界状态。

哪些可能只是辅助：多数据集 camera encoder、Q 初始化方式、浅层层数选择更像工程优化。哪些可能来自 data：作者自建数据包含专门设计的 revisit、遮挡、动态对象，这很可能贡献很大。没有这个数据，learned query 是否能自然出现并不清楚。增益来源不清的部分在于：是 query 机制本身带来的，还是训练分布更贴合 evaluation claim 带来的。

Relation To Prior Work

最接近的是 Context-as-Memory、WorldMem、VMem、VRAG 这类 context memory / retrieval 路线。MemLearner 没有否定 context-as-memory，而是把其中最脆弱的 retrieval rule 替换成 learned query。所以它不是 3D memory 路线，也不是 feature memory 路线，而是 context memory 谱系中的 learned access 版本。

和 CaM 的本质区别：CaM 的 memory relevance 来自 FOV overlap，MemLearner 的 relevance 来自 diffusion loss 下的 token attention。前者是几何启发式，后者是生成目标驱动。

和 VMem/VRAG 的区别：几何方法试图把世界关系显式重建或近似出来，再基于几何取 memory；MemLearner 不试图先建立外部几何模型，而是让 video DiT 的隐式视觉先验承担对应关系建模。代价是可解释性和可控性更弱。

和 Perceiver/Q-Former 等 learnable query 的关系：形式上并不新，Q token 聚合上下文是老思想。实质创新在于把 query token 放到 diffusion video world model 的 memory access 中，并让 P-conditioned denoising loss 决定 query 行为。新意不是“learnable query”，而是“用生成模型自身作为 memory query engine”。

Dataset / Evaluation

评测基本支持核心 claim，但支持范围有边界。作者自建 Unreal 数据集专门覆盖 occlusion、dynamic objects、revisit 和精确 camera pose，这正好针对规则检索的短板，因此在该分布上 MemLearner 明显胜出是有说服力的。

CaM 数据集上差距很小，这反而是重要证据：当场景没有明显遮挡和动态因素时，规则检索已经足够，learned query 的优势不大。MemLearner 的价值集中在 retrieval heuristic 失效的区域。

真实世界评测包括 SpatialVID 和 Epic-Kitchens，但这些 benchmark 对长期回访和复杂状态变化的覆盖有限。SpatialVID 为了 pose 质量过滤大运动，revisit 密度也不高；Epic-Kitchens 零样本结果有价值，但仍更像分布外视觉一致性测试，不足以证明开放式交互部署中的长期 memory。

PSNR/LPIPS/FID/FVD 能衡量回访一致性和质量，但不能验证对象级状态追踪、因果状态保持或规划能力。user study 和 VBench 补充了观感，但仍没有解决“模型是否真的维护 world state”这个问题。

Limitation

最大限制是 memory 仍然随历史线性增长。MemLearner 优化的是如何 query 完整 context，而不是如何维护一个可增长受控的长期记忆。作者也承认 compression、summarization、forgetting 是正交未来工作；这意味着当前方法离实际长期 agent memory 还有距离。

第二，方法依赖训练数据中存在足够 revisit pattern。真实视频数据单独训练 memory 效果很差，说明能力不是自然从互联网视频中涌现，而是很依赖有监督式轨迹分布覆盖。核心能力可能主要来自数据覆盖和训练 curriculum，而不仅是架构。

第三，泛化仍需谨慎。虽然有 real-world 和 zero-shot 结果，但 evaluation 主要还是离线视频预测，不是闭环交互。生成错误一旦累积，Q token 可能会 query 到与当前 hallucinated state 不兼容的历史证据，导致漂移或冲突；文中未充分说明这种情况如何处理。

第四，它没有显式处理状态变化。动态物体不是只有外观一致性，还包括身份、位置、动作历史、遮挡后的存在性和状态转移。MemLearner 可以复用视觉证据，但不保证学到对象级 persistent state。

第五，复杂多实体场景上限明显。作者提到超过五个交互角色会出现外观不一致或对象丢失，这说明当前机制对高组合复杂度的 memory binding 仍弱。所谓推理更像 retrieval，不像真正的长期状态建模。

Takeaway

• 最值得记住的第一点：video world model 的 memory access 应该由 generation target 驱动，而不是由外部几何规则驱动。
• 这是比具体 Q token 更可迁移的 insight。
• 第二点：在大生成模型上加 memory 模块时，表征对齐比模块设计更重要。
• scratch query module 容易被主生成器忽略；复用 backbone 内部 attention 可能是更稳的路线。

一句话总结

MemLearner 是 context-as-memory 路线从规则帧检索走向生成模型内部可学习 token-level memory access 的一步，真正贡献在于把长期视觉记忆重定义为 prediction-conditioned retrieval，而不是显式世界状态建模。