精读笔记
Problem Setting
[HorizonRelight: Relighting Long-horizon Videos Consistently via Diffusion Transformers]（arXiv preprint / 2026）
这篇论文实际处理的是长视频 relighting 在 chunked diffusion inference 下的跨窗口一致性，而不是重新定义 relighting 任务。现有视频扩散 relighting backbone 通常只能处理固定长度 clip；长视频只能滑窗/分块跑。问题在于每个 chunk 都会重新推断目标域外观状态，包括材质响应、阴影分布、specular、base appearance、甚至局部 intrinsic 解释，因此边界处会发生非物理的 appearance reset。
真正困难点不是 temporal smoothing，而是目标域 latent hypothesis 的连续性：同一输入视频、同一目标 HDRI，模型在相邻 chunk 中可能选择不同的 relit solution。以前方法卡在把长视频当作多个短 clip 的拼接，最多用 overlap/blending 做像素层修补；这无法阻止 diffusion model 在新窗口里重新采样一套外观解释。关键矛盾是：算力要求模型短窗口运行，但任务要求目标域状态长时间稳定。
Motivation
已有路线不够的根源是缺少“目标域记忆”。DiffusionRenderer/UniRelight 在单窗口内可以很强，但它们没有显式告诉下一窗口：上一窗口已经确定的 relit appearance 是什么。source video 和 target lighting 本身不足以唯一决定生成结果，因为 diffusion prior 会填补大量不可观测的外观细节；这些细节一旦每个窗口独立决策，就必然漂移。
作者的关键观察是，chunk boundary artifact 不是后处理问题，而是建模接口问题：推理时需要一个可被模型理解的 target-domain prefix/context。缺口在于训练阶段模型没有学过“从部分目标域 latent 继续翻译”的行为，所以简单把上一 chunk 的输出塞进下一 chunk 并不一定稳。由此自然导向 masked target-domain self-conditioning：让模型在训练时就把目标域局部观测当作 continuation cue。
Core Idea
核心思想是把 long-horizon relighting 从“每个 chunk 独立 relight”改成“在目标域 latent 空间做 chained continuation”。前一 chunk 的 relit latent tail 不只是用于 overlap 拼接，而是作为下一 chunk 的条件变量，约束模型延续同一个 target-domain state。这样改变了信息流：长期一致性不再完全依赖 source-conditioned generation 的隐式稳定性，而是通过显式传递目标域状态来维持。
这个 inductive bias 很直接：如果 relighting 的不确定性主要来自目标域外观解释，那么跨窗口复用上一窗口的目标域解释会比重新采样更稳定。它没有试图扩大 DiT 的时间上下文，也没有解决 full-sequence attention，而是引入了一种低成本外部 latent memory。和 prior 的本质区别是，prior 在每个窗口重新建立 relit world state；HorizonRelight 把 relit world state 作为链式变量显式传播。这使它比单纯 scaling context 更 practical，也比 pixel blending 更接近生成过程的因果位置。
Method
关键机制可以压缩为三层。
第一，target-domain latent propagation。推理时，每个 chunk 使用上一 chunk 结尾的 target-domain latent 作为 anchor，当前 chunk 只需要在 source/G-buffer/lighting 约束下补全剩余帧。它解决的是目标域状态重置问题，核心变化是把跨 chunk consistency 从后处理约束前移到 denoising conditioning。
第二，masked target-domain self-conditioning。训练时随机 mask 目标域 latent，只保留部分帧作为 observed anchors，让模型预测完整目标域 latent。它解决的是 train-test mismatch：推理时模型会看到来自上一 chunk 的部分目标域上下文，因此训练时必须让模型学会利用这种上下文，而不是把它当噪声或忽略。
第三，warm-start prompting。第一个 chunk 没有历史 target-domain latent，因此需要外部 relit image/clip 初始化目标域状态。它解决的是 chain initialization，而不是 relighting 主体能力。这个设计也把 prompt-based editing 接到同一个机制上：外部模型提供初始 appearance，HorizonRelight 负责在结构条件下传播它。
inverse/forward 两阶段中，propagation 同时用于 intrinsic/G-buffer 预测和 forward relighting。机制上这很重要，因为 forward consistency 受 G-buffer consistency 影响；但 two-stage 本身不是本文的新核心，更像 DiffusionRenderer 框架上的长时序接口改造。
Key Insight / Why It Works
最核心的贡献是 target-domain memory reuse，而不是新的 diffusion architecture。它有效的原因很可能是：chunk discontinuity 的主要来源不是运动建模失败，而是目标域 latent 的多解性。source video + lighting 条件下，模型仍可生成多种合理 relit appearance；独立 chunk 会在这些 mode 之间跳。传播上一 chunk 的 latent tail 等价于固定/缩窄下一 chunk 的 posterior mode，因此边界稳定性显著提升。
masked self-conditioning 是真正让这个机制成立的训练桥梁。它像 MAE/prefix continuation 的变体：训练模型从部分目标域观测恢复完整目标域，而推理时的 propagated frames 是这个分布的一个子情形。这里的关键不是 mask 技巧本身，而是把“目标域观测”提升为一等条件变量，使模型形成 continuation behavior。
warm-start 是必要但更像辅助接口。没有 warm-start，第一段目标域状态由模型 prior 决定，可能偏弱或不符合用户意图；有 warm-start 后，外部模型提供 initial mode selection。它的价值在 controllability 和 first-chunk mode selection，不应被解读为模型自己获得了更强 relighting reasoning。
这篇的能力本质上属于 better inductive bias + latent memory reuse + heavy scaling 的组合。不是长期规划，也不是 autoregressive video generation；补充材料也强调 previous output 不是内容来源，内容仍由 source/G-buffer 控制。长期一致性来自颜色/外观 cue 的传播，而不是模型学到了完整长期物理状态。所谓 long-horizon editing 的泛化要谨慎看，可能相当依赖强 source structural control 和外部 prompt anchor 的质量。
增益归因仍有不清楚之处。模型初始化自 Cosmos-Predict1-7B，并且 forward/inverse 分别在 16 H100 上训练很久；数据来自 synthetic rendering 加 in-the-wild/auto-labeled 设置。边界指标的提升很可能真实，但其中多少来自 propagation 机制、多少来自更大 backbone/训练数据/实现细节，文中没有完全拆干净。
Relation To Prior Work
最近的路线是 DiffusionRenderer 和 UniRelight。DiffusionRenderer 提供 inverse decomposition + forward resynthesis 的可控 relighting 框架，但长视频时每个 chunk 基本独立，因此 G-buffer 和 relit RGB 都会重新估计。UniRelight 减少了显式中间瓶颈，用 joint decomposition/synthesis 提升短 clip 表现，但同样没有从根本上处理 chunk boundary state reset。
HorizonRelight 的新增信息不是 relighting formulation，而是把 clip-based video diffusion 变成目标域条件 continuation。它和 autoregressive/video world model 的区别也很关键：AR 方法用历史生成结果推进内容，错误会作为内容状态滚动；本文仍由 source video/G-buffer 决定几何和运动，历史 relit latent 只作为 appearance/boundary cue。因此它更像 conditional translation with propagated target-domain anchors，而不是真正的 video rollout。
看似新的 warm-start prompting，其实是 prefix conditioning / image prompt / first-frame conditioning 思想在 relighting 里的重组。实质创新在于把 prompt anchor、masked self-conditioning、cross-chunk latent propagation 放进同一个训练-推理闭环；这比单独使用 reference image 或 overlap blending 更有机制完整性。
Dataset / Evaluation
评估基本围绕核心 claim 设计：长视频 chunk boundary consistency。合成数据的 duplicate-reverse 构造比较干净，因为边界两侧内容可控，预测差异主要来自生成漂移；in-the-wild YouTube 则验证 practical deployment 下的边界稳定性。difference map 的分析也对症，关注静态区域是否出现非运动变化。
但 evaluation 对 relighting fidelity 的证明相对弱。真实 YouTube 没有 target-light ground truth，所以只能测 boundary drift，而不能验证输出是否物理正确或是否符合目标 HDRI。补充的 Multi-Illumination paired reconstruction 显示 Ours-warm 接近 UniRelight/RelightVid，但并非明显领先；这说明本文主 claim 应限定为 long-horizon consistency，而不是 general relighting quality SOTA。
benchmark 也可能偏向该方法：boundary MSE/SSIM 天然奖励显式 anchor propagation，而不一定衡量长期真实感、细节保持、光照物理一致性或用户 prompt 满足度。style editing 示例更像 qualitative demo，不能充分证明跨任务泛化。
Limitation
第一，方法依赖 propagated target-domain latent 是可靠状态。如果前一 chunk 已经模糊、偏色或错误，下一 chunk 会继承这个 mode；它减少边界跳变，但也可能把错误稳定地传播下去。论文 Fig. 11 的 detail degradation 正是这个上限：稳定不等于质量保持。
第二，它没有真正突破固定窗口上下文限制，只是在窗口之间传一个低维目标域 cue。对于需要长期语义一致性、遮挡后再出现的对象身份、复杂光照历史依赖的情况，b=1 或少量 tail latent 是否足够，文中未充分说明。
第三，warm-start 把第一段 mode selection 外包给外部生成模型。prompt anchor 的质量、空间对齐和是否引入 hidden supervision 都会强烈影响结果。图 6 已经显示 prompt 与 G-buffer 不对齐会产生 blur/content mixing；这说明方法对 representation alignment 很敏感。
第四，泛化和增益归因不完全干净。Cosmos 7B backbone、长时间 H100 fine-tuning、synthetic rendering 覆盖、可能的 real data auto-labeling 都可能贡献很大。核心能力可能主要来自数据覆盖 + 强预训练 prior，propagation 是把这个 prior 在时间上稳定化，而不是产生新的物理 relighting 能力。
第五，方法可能把问题从“chunk discontinuity”转移为“长链质量衰减与 re-anchoring 策略”。实际 production 中可能需要 periodic re-anchor、shot boundary reset、人工选择 starter，这些部署策略比论文主文呈现得更关键。
Takeaway
- 1. 对 bounded-context diffusion translation 任务，跨窗口一致性的关键不是更复杂的 blending，而是把目标域状态作为条件变量显式传递。
- 2. masked target-domain self-conditioning 是一个可迁移 insight：训练模型从部分目标域观测继续生成，可以把短 clip 模型改造成可链式部署的 long-horizon translator。
- 3. warm-start 的价值在于 mode selection：外部模型决定初始外观，视频模型负责结构约束下的时间传播。
- 这种分工可能会成为视频编辑系统的常见形态。
一句话总结
HorizonRelight 是把 clip-based diffusion relighting 从独立窗口生成推进到 target-domain latent continuation 的方法，真正贡献是用可学习的目标域记忆缓解长视频 chunk boundary drift，而不是提出新的 relighting 物理模型。