精读笔记

Problem Setting

[论文标题] Linguistic Relative Policy Optimization for Video Anomaly Reasoning（arXiv preprint / 2026-07-02）。这篇论文处理的是 MLLM/VLM 用于视频异常检测时的一个具体瓶颈：模型参数被冻结后，如何获得任务相关的异常判别偏好，而不是仅靠通用视觉语言能力直接输出异常分数。关键矛盾是，VAD 需要对稀有、主观、上下文依赖的风险事件做判断，但可用监督通常只是 video-level weak labels；如果靠参数训练，容易需要大量细粒度标注并损害开放泛化；如果靠 training-free prompt/agent pipeline，又把异常知识固定在人工设计的规则里。作者实际要解决的不是普通 VAD 定义，而是“如何用少量弱监督自动形成可迁移的异常经验，并用它校准 frozen VLM 的决策边界”。

Motivation

已有路线的问题在于知识注入方式太重或太手工。Instruction-tuned VAD 把异常语义写进参数，性能强但 annotation-heavy，并且面对 domain shift 时不一定稳；training-free VAD 保留基础模型泛化，但依赖专家规则、固定推理流程或人工 prompt，缺少从数据反馈中自动迭代的机制。作者的核心观察是：直接用 frozen VLM 做 VAD 很弱，但只要在 context 中加入异常经验，性能会明显上升；这说明瓶颈不完全是视觉表示能力，而是缺少显式的 anomaly judgment prior。LRPO 的动机就是把这类 prior 从人工规则变成可学习、可编辑、可检索的语言经验。

Core Idea

LRPO 的核心思想是把 policy optimization 重新解释为语言经验库的优化：不更新 VLM 参数，而是通过编辑输入上下文中的 experience，改变 frozen policy 的条件输出分布。Learner VLM 对同一视频采样多条 reasoning trajectories，reward 给出相对优劣，Optimizer LLM 比较高低 reward 轨迹并提炼“哪些判断原则更好”，再把这些原则写入经验库。这里真正改变的是优化对象：从 continuous parameter space 转到 discrete / linguistic memory space。

这个建模引入的 inductive bias 很明确：异常判断不是单样本分类，而是由可复用的风险偏好、时间证据规则和场景边界共同约束。相比 prior 的 prompt engineering，它不是一次性写规则；相比 fine-tuning，它不把经验隐式压进参数；相比 VERA 式 verbalized learning，它优化的不是“该问什么问题”，而是“该如何判定异常”。这使得信息流从“视频→模型→分数”变成“视频→检索相关经验→带经验推理→反馈更新经验”，更像 memory-augmented test-time adaptation。

Method

方法层面最关键的机制有三类。第一，multi-trajectory relative optimization 解决单次推理反馈噪声大的问题：异常判断具有主观性和上下文依赖，直接对单个 label 做绝对优化容易学到偶然 shortcut；组内比较能让 Optimizer 从相对好的轨迹中抽取稳定语义差异。第二，general / scenario experience 分工解决 transfer 与 calibration 的冲突：general experience 保存跨场景原则，scenario experience 通过检索提供局部边界，避免所有异常规则都压成一套全局 prompt。第三，reward 设计试图约束经验学习的方向：accuracy reward 给基本标签方向，preference reward 用弱标签约束的 scenario text 和 hard negatives 对齐风险偏好，temporal reward 用 ordered vs shuffled 差异鼓励模型依赖时间证据。

这些机制的必要性在于：如果只有经验注入，容易变成静态 prompt augmentation；如果只有检索，容易检索到相似场景但不懂风险边界；如果只有 accuracy reward，容易把数据集偏置写进经验库。LRPO 的核心变化是把反馈信号转译成可长期复用的语言规则，而不是只对当前样本产生一次性解释。

Key Insight / Why It Works

我认为最有效的部分不是“RL”本身，而是三种东西的组合：memory reuse、retrieval-conditioned prompting、以及用 reward 排序来筛选更好的语言规则。所谓 LRPO 更像 training-free GRPO/PPO 的语言化近似：policy 不变，context 变；gradient 不显式计算，而由 Optimizer LLM 用反思完成离散编辑。它有效的前提是 frozen VLM 的 latent knowledge 已经足够强，只是默认 prompt 下没有被正确激活。经验库起到的是 activation steering 和 decision calibration。

最可能的核心贡献是 group-relative semantic advantage distillation：用多条轨迹对比而不是单条 self-reflection，能减少 LLM 随机解释带来的噪声，并把 reward 差异转成规则差异。scenario experience 的贡献更像 retrieval-augmented calibration，重要但不新；temporal reward 是合理辅助，但文中未充分说明它是否真的带来时序理解，还是只让输出文字更倾向描述时间顺序。preference reward 的作用也可能部分来自更强的 text encoder alignment 和 hard-negative prompt，而不是深层异常偏好学习。

需要直接指出：这里的“reasoning”很可能主要是可读规则 + 检索 + VLM 先验能力的组合，不应过度理解为模型学到了新的视频因果推理能力。增益也可能混合了 test-time compute、多轨迹采样、外部大 LLM 反思、scenario retrieval 和弱监督经验覆盖。论文做了不少消融，但对这些因素的归因仍不完全干净。

Relation To Prior Work

这篇最接近三条线：training-free MLLM VAD、verbalized learning、以及 group-relative RL / GRPO 思想。和 LAVAD、VADTree、AnomalyRuler 这类 training-free 方法相比，它的本质差异是规则不是完全人工固定的，而是由弱监督反馈迭代得到；和 instruction-tuned VAD 相比，它不修改参数，因此更像 context-space adaptation；和 VERA 相比，它不是学习 guiding questions 来引导模型看局部线索，而是学习 anomaly preference / decision principles 来改变判别边界。

看似新的部分中，经验库、检索增强、LLM 反思、hard negative preference alignment 都有明显已有思想影子；实质创新在于把它们组织成一个“语言经验空间中的相对策略优化”框架，并把输出轨迹之间的 reward 差异转译为可编辑的 anomaly prior。它属于 verbalized optimization / memory-augmented frozen model adaptation 的技术谱系，而不是传统意义上的视觉表示学习或强化学习。

Dataset / Evaluation

评估覆盖 XD-Violence、UCF-Crime、UBnormal，基本覆盖当前 VAD 常用离线 benchmark，并展示了弱标注少样本、全训练集、跨 backbone、跨 optimizer、跨数据集 transfer 等维度。实验能支持“少量数据学习语言经验可提升 frozen VLM VAD”这一 claim，也能部分支持“经验具有一定可迁移性”。

但 evaluation 对核心泛化 claim 的验证仍有限。UBnormal transfer 主要是从 XD-Violence 学到的经验直接迁移，说明规则有一定跨数据集复用性，但这不等于开放世界泛化；两个数据集之间是否存在异常类型、视觉模式、语言规则层面的 overlap，文中未充分说明。离线 benchmark 也无法验证真实部署中的摄像头分布漂移、长时序事件、隐私约束、误报成本和动态经验污染。另一个问题是，使用大 Optimizer LLM 和 VLM-generated scenario experience 可能引入额外先验，严格来说不是纯粹弱监督学习。

Limitation

最大限制是方法把问题从“训练模型”转移到了“构建、检索、维护经验库”。经验库质量依赖训练子集覆盖、VLM 对场景和事件的初始识别能力、Optimizer LLM 的反思可靠性，以及 reward 是否能真实表达人类风险偏好。若训练样本没有覆盖某类异常机制，LRPO 很可能无法凭空生成可靠规则；若检索到错误 scenario experience，模型可能被强行校准到错误边界。

scalability 上限也很清楚：经验库越大，检索噪声、规则冲突、上下文长度和维护成本都会上升。论文观察到训练时过多 scenario experience 反而伤害 general experience，这说明系统存在 shortcut-learning 风险。所谓 temporal reasoning 也可能是假象：ordered/shuffled reward 只能鼓励输出对顺序敏感，并不保证模型形成长期事件状态建模。真实 deployment 还会遇到开放类别、持续更新、概念漂移、误报代价不均等的问题，这些都不是当前 benchmark 能充分暴露的。

Takeaway

• 最值得记住的不是 LRPO 的具体 reward 公式，而是一个方向判断：frozen MLLM 的任务适配可以通过“可编辑语言经验库”完成，尤其适合异常检测这类规则可语言化、监督稀缺、风险偏好强的任务。
• 第二，relative comparison 比单条 self-reflection 更适合从 LLM 输出中提取稳定经验，这是可迁移到医疗异常、工业缺陷、安全监控等任务的 insight。
• 第三，general memory + scenario retrieval 是一个很自然的分层 prior：前者负责迁移，后者负责局部校准。
• 未来真正值得做的是经验库的自动验证、冲突消解、持续学习去噪，以及把语言经验和视频时序状态建模更紧密地耦合，而不是继续堆更大的 Optimizer LLM。

一句话总结

LRPO 是把 MLLM-based VAD 从参数微调和人工 prompt 推向“语言经验空间优化”的一类方法，真正贡献在于用组相对反馈把异常判别偏好沉淀为可复用、可检索、可编辑的上下文先验。