精读笔记

Problem Setting

论文标题：StochasT: Learning with Stochastic Turn Depth for Visual Instruction Tuning（arXiv preprint / 2026）。这篇论文解决的不是一般意义上的 LVLM 多轮能力，而是 VIT 中“训练 conversation packing”和“测试 single-turn isolation”之间的结构性错配。真正困难点在于：multiT packed training 虽然高效，但后续 turn 的监督条件包含历史 QA、位置和语言上下文，模型容易把任务学成 conditional text continuation，而不是每个 instruction 都稳定地回到 image grounding。以前的做法基本在两个极端之间摆动：singleT unroll 更接近 benchmark，但重复视觉输入、token 成本高；multiT pack 更高效，但在 single-turn 或顺序扰动下脆弱。关键矛盾是训练效率和上下文鲁棒性之间的冲突。

Motivation

已有路线不够的原因是它们默认“同一张图的多个问题怎么组织”只是数据工程细节，但作者指出这实际改变了模型学习到的条件分布。核心观察很直接：同一模型在 singleT 和 multiT evaluation 下有明显性能差，且标准 multiT fine-tuning 会进一步放大这种差距。这意味着 multiT VIT 在无意中鼓励 contextual overfitting：模型学会利用前文 turn、局部语言线索和固定顺序，而不是形成 context-invariant visual grounding。关键缺口有两个：训练上缺少覆盖多种历史深度的 recipe；评估上缺少能系统扰动 turn order/context 的鲁棒性指标。

Core Idea

StochasT 的核心思想是把固定的 multi-turn chain 变成随机深度的 causal tree。对每个 turn，不再强制它看到所有前序 turns，而是随机选择某个历史 parent，形成不同长度的上下文路径。这样 singleT 和 multiT 不再是两个互斥训练格式，而是同一随机过程的两个边界情况：drop 很强时接近 singleT，drop 为零时退化为 multiT。

本质变化是建模对象从“一个固定 conversation”变成“同一组视觉 instruction 在多种上下文条件下都应可预测”。这引入了一个很清楚的 inductive bias：视觉问题的答案应对无关历史上下文不敏感。相比 prior，它不是通过额外 loss 强行提升 visual attention，也不是靠更多 curated data，而是重排 supervision 的条件结构。这个思路比较 scalable，因为它不依赖特定模型结构，也不需要额外标注；但它的 generalization 主要针对弱依赖、多问题同图的 VIT setting。

Method

方法上最关键的是随机 turn-depth，而不是 Beta 分布本身。Beta 只是一个方便的 bounded probability family，用来控制历史保留倾向；真正起作用的是每个 turn 的历史路径被随机化，打破固定 multiT 链条中的稳定捷径。

第二个关键机制是“保留所有 loss tokens”。普通 turn dropout 会直接删 turn，确实能减少上下文依赖，但也损失监督信号。StochasT 通过 attention mask 和 position id 把原序列表达成 tree，让所有 turns 仍参与 loss，只改变它们能看到的历史。这是它相对朴素 dropout 的主要工程优势：在不显著增加 token budget 的情况下增加 context distribution coverage。

第三个机制是 Balanced Latin Square turn permutation。它不是训练贡献，而是评估贡献：让每个 turn 均匀出现在各个位置，并均匀控制一阶前驱关系，从而同时覆盖 singleT-like 和 multiT-like contexts。CRA 衡量平均上下文鲁棒性，CRA+ 衡量最严格的全排列一致性。这个评估比单一 multiT 顺序更合理，但只适用于 turns 大体独立的场景。

Key Insight / Why It Works

这篇最重要的 insight 是：multi-turn VIT 的问题不只是长上下文 attention decay，而是监督条件中存在大量 spurious textual context。后续 turn 的 answer token 在训练时可以 attend 到前文 QA，模型因此获得一条比视觉 grounding 更便宜的路径。StochasT 通过随机切断历史路径，让这条捷径不稳定，迫使模型在不同 context depth 下都能从 image + current instruction 恢复答案。

我认为核心贡献是“随机化 supervision conditioning”，而不是 stochastic depth/dropout 类比。它本质上是一种针对 conversation structure 的 data augmentation / regularization：不扩充语义数据，只扩充同一监督样本的条件上下文分布。它更接近 better inductive bias + representation alignment，而不是 scaling、retrieval、test-time compute 或真正的 long-term memory learning。

视觉 attention/VC 的提升是合理的：当历史文本不再可靠，模型只能增加对视觉 token 的依赖；同时较短有效路径缓解长序列中 visual token 被语言 token 淹没的问题。但这里有一个需要直说的点：这并不证明模型获得了更强推理能力。很多增益可能来自抑制 shortcut 和改善视觉对齐，而不是学会复杂多轮 reasoning。SingleT 在 CRA+ 上更强也说明，最严格的一致性可以通过重复独立图像监督暴力获得，只是成本更高。

BLS evaluation 是有价值的，因为它揭示了普通 singleT/multiT 指标掩盖的 order sensitivity。但 CRA/CRA+ 也会偏好 context-invariant answering；对于真实依赖历史的任务，这种偏好可能错误惩罚合理的上下文使用。

Relation To Prior Work

最接近的技术谱系是 dropout/stochastic depth、data augmentation for instruction tuning、以及 recent VIT regularization work。和 L2T、Vittle、Ross 这类方法相比，StochasT 不改 objective，不加辅助损失，也不显式重构视觉表示；它改的是训练样本的 causal dependency graph。这个差异是实质性的，因为它直接作用在 supervision conditioning 上，而不是在已有 packed sequence 上再加正则。

看似新颖的部分里，随机删除/扰动上下文本身并不新，和 dropout、turn dropout、context dropout 有明显血缘关系。真正新增的信息是：在 LVLM VIT 中，singleT/multiT mismatch 是一个可测量且会被 fine-tuning 放大的 failure mode；并且可以通过保留 loss token 的 stochastic tree packing 在效率和鲁棒性之间取得更好折中。

和标准 singleT unroll 的本质差别是 token economy：singleT 通过重复图像强制每个问题独立 grounding，StochasT 试图在同一 packed 样本内模拟这种独立性。和标准 multiT 的本质差别是 anti-chain bias：不再假设原始 turn order 是唯一合理的训练上下文。

Dataset / Evaluation

实验覆盖了细粒度植物、病理、珊瑚、地方文化 VQA、多图多轮等多个 domain，足以说明该问题不是单一 benchmark artifact。更重要的是，这些数据都有“一图多问”的结构，正好对应该论文的核心假设。因此 evaluation 和 claim 在 setting 上是匹配的。

但这些 benchmark 多数仍是静态视觉问答的多 turn 组织，turn 间真实依赖较弱。换句话说，它们验证的是“同一图上多个相对独立 instruction 的上下文鲁棒性”，不是强交互式多轮推理能力。MMDU 被用来支撑 multi-image/multi-turn claim，但作者自己也承认其 turn dependency 可能较弱，所以不能过度外推到真实 agent conversation。

BLS evaluation 很有启发性，确实比固定 multiT 顺序更能暴露 brittleness；但它内含一个强假设：turn permutation 不改变语义。如果任务存在引用、递进、纠错、计划或状态更新，BLS 就不再是合理评估。开放式任务用 Gemini 3 Flash 判分也引入了 evaluator bias，文中未充分说明该自动评估对上下文扰动是否稳定。

Limitation

最大限制是独立 turn 假设。StochasT 适合 weakly dependent visual QA，不适合真正依赖历史状态的对话。如果 turn n 的语义依赖 turn n-1 的答案或用户意图演化，随机切断历史不是正则化，而是破坏任务。

第二，增益归因不完全清晰。提升可能来自三件事混在一起：更短有效上下文缓解 visual attention decay；随机上下文扰动减少 overfitting；保留 loss token 带来更好的 token efficiency。文中有 ablation，但还不足以彻底分离这些因素。特别是与 token budget、sequence length、image duplication、loss weighting 的交互仍未充分说明。

第三，它没有解决长期记忆建模。StochasT 让模型少依赖历史，并不让模型更好地压缩或使用历史。对于需要 persistent memory、planning、tool state 或跨 turn reference 的任务，这个 inductive bias 可能与目标相反。

第四，泛化仍可能 heavily rely on data coverage。如果原始多 turn 数据覆盖了足够多同图问题，StochasT 只是更有效地重排这些监督；它不能凭空产生新的视觉概念或推理链。所谓 robustness 更像对 context perturbation 的稳定性，而不是 OOD semantic generalization。

Takeaway

• 第一，VIT 中 conversation packing 是一个一阶设计变量，不是数据格式细节；它会直接改变模型依赖视觉还是依赖文本上下文。
• 第二，随机化条件上下文是一种很值得迁移的 recipe：对任何“训练时有 packed context、测试时 context 不稳定”的多模态/语言任务，都可以考虑 stochastic dependency graph，而不是只做样本级 dropout。
• 第三，未来更值得做的是区分 weak-dependency multi-turn QA 和 strong-dependency interactive reasoning。
• 前者需要 context invariance，后者需要 stateful memory；把两者混在一个 multiT 指标里会误导方法设计。

一句话总结

StochasT 是一篇把 LVLM VIT 的 multi-turn packing 从工程效率问题重新定义为条件分布正则化问题的论文，核心贡献是用随机 turn-depth 在不牺牲监督 token 的前提下抑制上下文捷径、提升视觉 grounding 与上下文鲁棒性。