精读笔记

Problem Setting

论文标题：ProtoKV: Streaming Video Understanding under Delayed Query with Summary-State Memory（arXiv preprint / 2026-06-26）。这篇论文实际处理的是 SVU 中一个比“长上下文”更具体的问题：query 不在证据出现时到来，而是在之后很多帧、很多 memory update 之后才到来。此时系统不能重放视频、不能根据 query 选择存什么，也不能把查询时延迟交给外部检索；它只能依赖一个持续维护的 bounded on-device state。关键矛盾是：近历史需要 token-level fidelity，远历史需要 constant footprint；而 decisive evidence 往往短暂、稀有、不可预知，恰好最容易在固定预算下被淘汰或平均掉。以前 sliding window 的问题是硬截断，token retention 的问题是让远证据继续以 token instance 形式竞争固定名额，offloading/retrieval 的问题是把低延迟假设打破。

Motivation

作者的核心观察是 delayed query 的难点不只是时间间隔，而是 post-evidence update pressure：证据出现后，系统还要经历很多次无 query 指导的压缩/合并/驱逐决策。token-retention 方法在这个视角下很脆弱，因为它每一步都在问“哪些 token 值得活下来”，但未来 query 未知，这个问题本身没有稳定答案。缺口在于：SVU 需要一种不依赖具体 token 存活的远历史表达，使证据可以被累计、增强、维护，而不是在每轮更新中被重新竞争。ProtoKV 因此选择把远历史从 token cache 变成 summary-state memory。

Core Idea

ProtoKV 的真正核心不是“加了一个 prototype bank”，而是改变了远历史的建模单位：远处不再是若干幸存 token，而是若干持续更新的语义-空间状态。这个状态记录某类对象/事件的中心、出现质量和局部残差模式；query 到来时，它再被投影成少量 pseudo-KV token，让原本的 attention 机制可以把它当作上下文消费。

这个设计引入的 inductive bias 是：视频流中的远期可用信息往往具有对象/区域/事件的连续性，适合被聚合为稳定 track-like prototypes；相比单个 token，prototype 对长期 update 更抗 churn。它的本质区别在于把“保留哪些历史 token”换成“维护哪些历史状态”，因此更 scalable；query-time context 长度只与 near window 和 prototype 数量有关，而不与视频长度有关。

Method

方法上真正必要的机制只有几类。第一，near-far split：近窗口保 exact KV，因为最近证据需要细粒度、时间局部的直接访问；远历史则进入 prototype bank，因为无限增长的 token KV 不可持续。第二，continuity-aware assignment：被逐出的 token 不是随便聚合，而是按 key similarity、空间一致性和 recency 分配到 prototype；这是为了避免同一对象/事件在长流中被分裂，或者相似对象互相污染。第三，residual statistics：单一中心会过度平均，尤其会洗掉稀有 cue，所以用 PQ histogram 记录中心附近的多模态残差结构；它不是恢复原 token，而是给 prototype 保留一定 intra-cluster diversity。第四，pseudo-token interface：summary state 只有能被标准 attention 直接消费才有部署意义，因此它把每个 prototype 解码成固定数量 pseudo-KV token，并加 log-mass bias 近似多个原 token 的 multiplicity。核心变化是远历史从“缓存内容”变成“可注意的压缩状态”。

Key Insight / Why It Works

最重要的 insight 是：在 delayed-query SVU 中，远历史的失败模式主要来自 token identity 的不可持续，而不是 attention 本身不够长。ProtoKV 有效，是因为它降低了远证据对单个 token 存活的依赖，把证据的存在性和重复支持累积到 prototype mass 与 residual modes 中。对很多 retrospective visual queries，答案并不需要完整帧级重建，只需要知道某对象/状态/事件曾经出现过、其大致视觉模式是什么、以及与其他事件的粗时间关系；prototype summary 正好匹配这种需求。

最可能的核心贡献是 summary-state far memory 加 pseudo-token attention interface。continuity-aware assignment 和 residual stats 是重要辅助：前者减少 fragmentation，后者减少 over-averaging。mass bias 更像一个必要校正，否则 prototype 的统计质量无法反映到 softmax 权重中。这里不是训练数据带来的能力，也不是更强 reasoning；更像是 better inductive bias + memory reuse + bounded test-time compute。所谓 long-delay robustness 本质上是更稳定的 retrieval substrate，而不是模型突然获得了长期规划能力。

需要警惕的是，部分增益可能来自 budget organization：ProtoKV 用 K_max × S 个 pseudo-token 表达 far memory，这和 token-retention baseline 的“等 token 数”是否语义等价并不完全清楚。pseudo-token 不是原始 token，但它确实给每个 prototype 多个可注意入口，可能提升了有效表达容量。增益来源不清的部分在于：到底是 prototype state 更好，还是 residual pseudo-token expansion 更好，论文 ablation 有帮助但还不能完全拆干净。

Relation To Prior Work

它最接近三条谱系：KV cache compression/token retention、compressive memory/prototype memory、以及 prefix/pseudo-token interface。和 SWA/H2O/SnapKV/InfiniPot-V 这类方法的本质差异是，ProtoKV 不再把远历史当作 token instance subset，而是当作可持续更新的聚合状态。和 offloading/retrieval 的差异是，它不在 query time 重建或检索长历史，而是始终维护 GPU-resident fixed footprint state。和 prefix-tuning 的相似点只是接口层：都把额外 KV 暴露给 attention；不同点是 ProtoKV 的 pseudo-token 是 streaming statistics 解码出来的，不是学习参数。

看似新的部分里，prototype、PQ residual、mass logit adjustment 都不是全新思想；实质创新在于把这些组合到 SVU delayed-query 的 operational constraint 下，并明确把“远历史 token retention”替换成“summary-state memory”。这是一种系统约束驱动的 representation redesign，而不是模型架构突破。

Dataset / Evaluation

评估覆盖 RVS、OVO、StreamingBench 以及一些 offline video understanding benchmark，任务类型有一定广度，也使用两个 7B VLM backbone，说明机制不是完全绑死在单一模型上。最有价值的评估是 delayed-query sweep：它把 query 时间向后移动，并过滤 retrospective queries，使 ground truth 尽量不随 query time 改变；这确实直接检验了论文的核心 claim，即远证据经过更多 post-evidence updates 后是否仍可用。

但 evaluation 仍有明显边界。第一，真实 evidence timestamp 不可得，作者用 dataset query timestamp 加 delay 作为 proxy；这不等于严格测量 cue-to-query delay。第二，过滤到 retrospective subset 后，benchmark 更偏向“过去是否出现/发生过”的 retrieval 型问题，未必覆盖实时交互中更复杂的状态更新、因果推理或计划问题。第三，真实部署只部分验证：有 latency 和 GPU memory 测量，也报告 online update overhead，但仍是在受控 pipeline 下，不等于高并发、多 query、分布漂移的视频系统。

Limitation

核心限制是信息被 prototype 化以后，事件边界和实例级差异会不可逆损失。它适合保存“某类视觉证据存在过”以及对象/区域级状态，不适合精确计数、多个相似事件排序、细粒度 temporal grounding。论文自己的 case study 已经暴露：视觉相似事件会被吸收到同一 prototype，mass 只能表示累计支持，不能表示发生了几次、边界在哪里。

另一个上限是容量与分配策略。固定 K_max 和固定 S 假设远历史可以被有限 prototype 覆盖；一旦场景中长期存在大量相似但语义不同的实体/事件，prototype bank 会发生混叠。动态 pseudo-token allocation 在附录中反而提升长延迟性能，说明默认设计并非最优，且增益可能受 allocation policy 影响。文中未充分说明在更长 stream、更开放 query、更密集事件场景下 prototype maintenance 是否稳定。

此外，这不是解决长期推理的通用方案。它把 memory bottleneck 从 token survival 转移到 summary sufficiency：如果 query 需要的是被 summary 丢掉的结构信息，attention 再怎么读 pseudo-token 也恢复不了。泛化能力主要来自 pretrained VLM 表征与视频 benchmark 分布的匹配；核心能力可能仍是 retrieval-like grounding，而不是形成了显式长期状态模型。

Takeaway

• 第一，SVU 的关键不应只按 context length 讨论，而应按 query delay 下的 post-evidence update pressure 讨论；这是比“长视频压缩”更准确的系统问题定义。
• 第二，远历史 memory 的建模单位值得从 token instance 转向 persistent summary state，这个 insight 可以迁移到长文档、agent memory、robot perception 等持续流场景。
• 第三，summary state 必须有 attention-compatible interface，否则会落入 query-time retrieval/reconstruction 的 latency 陷阱。
• 第四，未来真正值得做的是可分辨 episode boundary 的 summary memory：既保留 prototype 的稳定性，又能表示重复事件、计数和顺序，而不是只加强中心和残差。

一句话总结

ProtoKV 是 SVU bounded-memory 路线中从 token-retention cache 向 summary-state memory 演化的一步，真正贡献在于用可注意的 prototype far memory 缓解 delayed-query 下远证据随持续更新而失效的问题。