精读笔记

Problem Setting

[LCG: Long-Context Consistent Image Generation with Sparse Relational Attention]（arXiv preprint / 2026）

这篇论文解决的不是一般 text-to-image，也不是短 story visualization，而是长上下文 multi-image generation 中的跨 panel 身份一致性、角色绑定和视觉连续性。真正困难在于：每张图有独立 prompt，需要允许场景、动作、视角变化；但角色身份和结构关系又必须跨图稳定。以前方法卡在两个矛盾上：独立/顺序生成没有足够 cross-panel evidence，容易早期漂移并累积；dense attention 虽然能交换信息，但在长序列下计算不可承受，而且会把无关区域也混进来，造成 role confusion。关键矛盾是“需要长期共享信息，但只能共享语义相关的信息”。

Motivation

作者的出发点是：长上下文一致性不应该被建模成所有 panel token 的全连接交互，而应该是 query-dependent evidence routing。已有路线缺的是一种既能扩展到 10–20 panels，又能避免错误身份传播的信息通道。Storyboard / consistent self-attention 方法通常把 consistency 当作 attention sharing 或 latent mixing；但在多角色场景里，attention sharing 本身没有身份语义约束，容易把相似衣服、姿态、背景当作同一对象。LCG 的动机可以概括为：把“跨图一致性”从隐式特征混合，改成受身份结构约束的稀疏检索问题。

Core Idea

核心思想是并行生成所有 panel，并在去噪过程中让分支之间通过稀疏关系注意力交换证据。它改变了多图生成的信息组织方式：不是先生成一张再条件化下一张，也不是把所有 token 拼起来做 dense global attention，而是每个 query 只从其他 panel 中检索少量最可能相关的区域。这样一致性不再依赖生成后修补，而是在 denoising trajectory 内部持续传播。

更重要的是，SRA 引入了一个明确的 inductive bias：跨图通信应该是 sparse、semantic、relation-aware 的。RCC 进一步把这个 bias 监督化，用 identity-aware masks 规定哪些 token 应该形成跨图 route。和 prior 的本质区别不在“又加了一个 attention module”，而在于它把 consistency 的建模对象从图像级/帧级 conditioning 下沉到了 token-level routing correspondence。这个设计理论上更 scalable，因为通信复杂度由候选 token 数控制；也更可能 generalize 到较长序列，因为模型不需要维护完整 dense memory。

Method

LCG 的方法只需要抓住几个机制层面的必要性。

第一，并行 branch denoising 解决 sequential generation 的单向误差累积问题。每个 prompt 对应一个生成分支，所有分支同时去噪，使后续 panel 不再被早期 panel 的固定输出绑定；跨图证据可以在整个生成过程中双向流动。

第二，SRA 解决 dense cross-branch attention 的计算和噪声问题。它先用 block-level compression 做粗筛，再从被选中的 block 中取 fine-grained tokens。这个机制的核心变化是：attention 不再默认所有 panel 互为上下文，而是把上下文变成动态候选集合。它同时是效率机制和去噪机制，因为很多错误一致性来自无关 token 交互。

第三，RCC 解决 sparse route 自身不稳定的问题。仅靠 learned attention，模型可能把相似但身份不同的区域连起来；RCC 用身份 mask 构造跨分支 token correspondence target，把 attention route 拉向同一角色区域。它不是普通 consistency loss，而是对“信息从哪里来”进行监督。

第四，branch-level temporal encoding 解决多个并行分支的可区分性。它给每个 panel 一个显式位置身份，避免所有分支在共享 backbone 中被当作同质 token 集合。这个部分重要但更偏工程支撑，不是主要创新。

Key Insight / Why It Works

最可能真正有效的部分是 SRA + RCC 共同形成的“受监督稀疏检索”。SRA 单独看像 long-context sparse attention / retrieval；RCC 则把 retrieval target 和身份语义绑定起来。二者结合后，模型学到的不是抽象叙事推理，而是跨 panel 查找同一角色视觉证据并复用。所谓 long-context consistency 本质上更接近 retrieval + representation alignment，而不是长期状态建模。

RCC 很可能是核心贡献中最实质的部分。没有 RCC，稀疏 attention 的 top-k route 仍然可能被视觉相似性误导；有 RCC 后，route 被 mask-derived correspondence 规训，尤其适合多角色场景。SRA 的贡献则更多在 scalability 和 noise filtering：它让 20-panel 设置能跑，同时减少 dense mixing 带来的身份污染。

需要直接指出的是，部分增益可能主要来自 data / scaling。LCCD 有 600K 合成序列，并经过 Gemini 一致性过滤，再用 Grounded-SAM 提供 mask supervision；这等于给模型提供了大量“干净、角色稳定、prompt 模板化”的训练分布。LCG 的表现不能简单归因于架构。尤其是 FaceSim / DreamSim 等指标在合成 photorealistic 人物场景上，可能高度受衣着、脸部可见性、prompt template 和筛选偏置影响。

full attention prompt alignment 略高而 consistency 更差，这个现象很有信息量：无限制上下文更容易满足局部 prompt，但也更容易引入跨 panel 干扰。SRA 的价值不是更强表达能力，而是限制表达能力，把模型推向更正确的信息瓶颈。

Relation To Prior Work

LCG 最接近三条线：consistent self-attention / story generation、multi-image conditioning / in-context generation、long-context sparse attention。它不是从零发明新范式，而是把这些思想重组到 diffusion multi-panel generation 里。

和 StoryDiffusion / Story2Board 的本质差异在于，LCG 不只是共享 attention 或做 latent anchoring，而是训练一个可扩展的跨分支路由机制，并用 mask 监督路由语义。和 reference-based identity methods 的差异在于，主任务不要求用户提供 reference image；身份一致性主要来自序列内部的共同 prompt 和训练中学到的路由。和 dense multi-image attention 的差异在于，LCG 明确拒绝全连接上下文，认为长上下文生成需要 sparse relational memory。

看似新的部分里，coarse-to-fine sparse retrieval、top-k routing、mask-guided attention supervision 都有明显既有思想来源；实质创新在于把它们组合成一个适合 multi-image diffusion branches 的机制，并把 identity consistency 表述为 token routing alignment。它属于“long-context generation through sparse memory / relational retrieval”的技术谱系，而不是 narrative reasoning 或 explicit planning 路线。

Dataset / Evaluation

LCCD 的覆盖范围比常见 2–4 frame storyboard benchmark 更长，包含单人和多人、6–20 panels，确实更贴近论文 claim 的长上下文场景。它的优势是可控、规模大、有 identity masks，能训练和评估 SRA/RCC 这种需要监督 correspondence 的方法。问题也很明显：这是强合成、强过滤、强模板的数据集，不是自然视频、漫画、电影分镜或真实用户创作分布。

评估基本支持“在 LCCD-style synthetic long-context generation 上，LCG 比 baselines 更一致、更可扩展”。但它没有充分证明真实世界泛化，也没有证明模型学到了长期叙事状态或复杂角色关系。指标侧重视觉相似度、脸部相似度、prompt VQA 和审美分数，能衡量局部一致性，却难以衡量跨 panel 事件逻辑、角色关系演化、遮挡后再识别、换装后的身份保持等更难问题。

另一个 evaluation limitation 是 baseline 选择。Flux.1-dev 是单图强模型，StoryDiffusion / Story2Board 未必为 20-panel photorealistic synthetic benchmark 优化；LCG 则在专门构建的 LCCD 上训练。比较有意义，但不能完全排除 benchmark-specialized training 带来的优势。

Limitation

最大的隐含前提是训练时有可靠 identity-aware masks，并且同一角色在不同 panel 中存在可视觉对齐的区域。RCC 把 consistency 建成 mask-level correspondence；这对人物、衣着稳定、无遮挡、模板化 prompt 很有效，但对于换装、年龄变化、非刚性身份、局部不可见、角色只通过语义延续而非视觉相似延续的场景，上限明显。

scalability 也不是无限的。SRA 避免了 dense attention 的二次爆炸，但粗筛仍依赖 query-key 相似性，候选数量固定会在角色数增加、场景拥挤、panel 变多时造成 recall bottleneck。20 panels 能跑不等于真正长程建模；更长序列可能需要显式 memory management、identity state tracking 或 hierarchical planning。

泛化是否真实存在文中未充分说明。LCCD 由 Gemini 生成角色描述、Seedream 生成图像、Gemini 过滤、Grounded-SAM 出 mask，这条 pipeline 可能让训练/测试共享非常强的风格和结构偏置。核心能力可能主要来自数据覆盖和过滤后的干净监督，而不是方法本身具备开放域稳健性。

所谓“长上下文一致性”也可能更多是 retrieval，而不是 reasoning。LCG 没有显式维护故事状态、因果关系或角色心理/事件进展；它维护的是视觉身份和局部结构。对于 comics/storyboards 中更高层的 narrative continuity，这篇论文还没有真正解决。

增益归因仍不清晰。SRA、RCC、两阶段 single-to-multi curriculum、合成数据规模、Flux backbone、mask supervision 各自贡献没有被完全拆开。尤其是 curriculum 和 LCCD filtering 可能是重要因素，但论文主要把叙事放在 SRA/RCC 上。

Takeaway

• 1. 长上下文多图生成的关键不是让所有图互相看见，而是控制哪些信息能跨图流动；稀疏路由是比 dense sharing 更合理的 inductive bias。
• 2. 一致性问题可以从 image-level conditioning 下沉到 token-level correspondence。
• RCC 的价值在于监督“注意力应该连到哪里”，这比单纯约束输出图相似更直接。
• 3. 这篇推动的是 long-context image generation 的工程可扩展性和训练范式，而不是叙事推理能力。

一句话总结

LCG 是一篇把长上下文多图一致生成重新表述为“并行 diffusion 分支之间的受监督稀疏证据路由”的工作，真正贡献在于 scalable relational retrieval 和 mask-guided routing bias，而不是解决了完整的故事级视觉推理。