精读笔记
Problem Setting
论文解决的不是传统意义上的快速 path tracing，也不是单场景 neural caching，而是一个更激进的问题：给定显式 triangle mesh、材质、光源和相机，直接用一个跨场景 feed-forward 网络预测收敛 HDR 全局光照结果。真正困难点在于 light transport 同时具备长程依赖、递归多次反射、visibility discontinuity 和材质相关散射；这些性质很难由普通 Transformer 在有限数据下自动学稳。RenderFormer 的问题是把 triangle 当作最小 token 做全局 self-attention，理论上有表达力，但 token 数随 triangle 增长，成本二次爆炸；同时 attention 权重没有被约束成任何物理意义上的 transport kernel。关键矛盾是：如果保留 triangle-level 表达，模型可能有细节但不可扩展；如果过早压缩，模型可扩展但可能丢失 transport 所需的几何/遮挡信息。
Motivation
已有路线的缺口很明确：scene-specific neural radiosity / radiance caching 可以拟合高质量光照，但需要每个场景优化或仍嵌在 Monte Carlo pipeline 里；RenderFormer 迈向跨场景 feed-forward，但本质是让 attention 从数据中硬学 light transport，没有显式利用 rendering equation 的结构。作者的核心观察是，全局光照并不是任意 pairwise interaction，而是带 emission source term 的递归 transport fixed point；另一方面，mesh 场景不是无结构 triangle bag，而是由 object 组成的层级结构。缺的是一个既能 amortize transport、又能压缩 scene token 数、还保留物理结构偏置的表示。这个动机是合理的：如果目标是跨场景泛化，纯黑盒 attention 在 triangle 粒度上学习所有物理规律，样本效率和扩展性都会很差。
Core Idea
论文真正的核心不是“加了 PITG 和 HOCT 两个模块”，而是把 RenderFormer 的建模对象从 flat primitive interaction 改成 latent object transport。也就是说，模型不再试图在所有 triangle 之间直接学习全局光传输，而是先把每个 object 内部的几何、材质、发光信息压缩成少量 latent tokens，再在这些 object-level tokens 上执行递归 transport refinement。这改变了信息流的尺度：triangle 负责局部几何编码，object token 负责全局能量交换，view decoder 负责把全局 illumination latent 读回图像空间。
PITG 引入的 inductive bias 是 rendering equation 的 emission + transport decomposition 以及 fixed-point iteration 形式。它没有真正求解物理方程，但迫使网络把发光项和散射项分开建模，并用共享 operator 多次更新，从结构上更接近 multi-bounce transport。HOCT 引入的 bias 则是 object-centric compression：把可扩展性建立在 scene hierarchy 上，而不是靠更高效 attention kernel 硬撑 triangle sequence。和 prior 的本质区别在于，它不是单纯扩大 Transformer 或加速 attention，而是重新定义了全局 transport 的 token 粒度与递归动力学。
Method
第一，HOCT 解决 triangle-level attention 的扩展性问题。它把每个对象内部的 triangle set 通过 cross-attention 聚合到固定数量 object tokens 中，使全局 transport 的序列长度近似随 object 数增长，而不是随 triangle 数增长。必要性在于，全局光照的远程交互通常更接近 object/patch 级能量交换，而不是所有 triangle 两两交互；核心变化是把计算瓶颈从全局 primitive attention 转移到对象内局部编码和对象级全局交互。
第二，PITG 解决普通 attention 缺少物理结构的问题。它显式注入 emission feature，并把 scattered feature 作为递归 transport state，由共享 Transformer operator 多步更新。这一机制的作用不是保证物理正确，而是减少模型搜索空间：网络不必从零发现“光源项”和“间接反射项”应分开传播。
第三，transport consistency loss 解决多步 latent transport 的稳定性问题。它约束当前 scattered state 与下一步 operator 输出接近，等价于在 feature space 中鼓励 fixed-point behavior。这个损失是否物理严格成立文中未充分说明，但作为 training regularizer，它可能减少迭代 refinement 的漂移。
第四，geometry-guided decoder 解决 object-level latent 与 pixel-level appearance 之间的信息断层。G-buffer 提供局部可见表面、法线、材质等强监督式条件，使 decoder 不必从 global tokens 中恢复所有局部细节。它很关键，但更像 representation alignment / readout conditioning，而不是 light transport 本身的创新。
Key Insight / Why It Works
最可能真正起作用的是 HOCT 带来的 token bottleneck 与 object-level memory reuse。它让模型能接触更大场景和更多训练分布，同时避免 RenderFormer 在大 triangle count 下直接不可训练。换句话说，大场景性能提升很可能首先来自 scalability，而不是 PITG 的物理性。只要 baseline 因 memory 无法在同等大数据上训练，RenderFormer++ 的优势就同时包含了 architecture 和 data coverage 两部分，增益来源不清。
PITG 的价值更像 better inductive bias，而不是严格 physics solver。它把 Transformer attention 从任意 feature mixing 约束为“发光源注入 + transport operator 迭代”的形式，这会提高样本效率，尤其在间接光、color bleeding、soft shadow 这类需要跨对象传播的信息上更稳定。但文中的 transport consistency loss 是 latent-space loss，并没有证明 latent norm residual 对应真实 radiance residual；因此所谓 physically grounded 更准确地说是 physically inspired。
GGD 的作用可能被低估。由于 decoder 直接拿到 G-buffer，许多局部 shading、边界、材质细节已经由传统 rasterization / pre-rendered buffer 提供，网络主要补全 global illumination residual。这样任务难度明显低于“仅从 mesh tokens 生成图像”。这不是问题，但需要清楚：模型的 feed-forward rendering 依赖 hidden supervision-like geometric conditioning，而不是完全端到端从 mesh 推出像素。
我会把这篇的机制归因为三类：scaling 是主贡献，latent structure 是关键设计，physics bias 是辅助但有意义的 regularizer。它不像真正学习了可解释的 transport matrix，更像是在 object-level latent space 中学到可泛化的 illumination retrieval / propagation pattern。若测试分布和 procedural training distribution 高度一致，所谓泛化可能相当程度来自数据覆盖，而不是物理推理能力。
Relation To Prior Work
最接近的 prior 是 RenderFormer，因为二者都把 triangle-mesh global illumination 表述为跨场景 feed-forward Transformer rendering。RenderFormer 的本质是 primitive-level sequence modeling；RenderFormer++ 的本质是 object-level latent transport modeling。差异不在是否用 Transformer，而在 token 粒度、信息瓶颈和是否引入 rendering-equation-shaped recurrence。
和 Neural Radiosity / neural transport 系列相比，这篇继承了 fixed-point / transport operator 的思想，但没有做 scene-specific optimization，也没有显式求解 radiosity basis 或 transport matrix。它把那些物理结构移植进 Transformer latent dynamics 中，这是实质上的工程化重组：物理方程不再是求解对象，而是网络架构和 loss 的形状约束。
和 LightFormer、object-interaction neural rendering 等方法相比，这篇属于“structured feed-forward neural surrogate for rendering”的谱系。HOCT 中 learnable queries 聚合 object tokens 借鉴了 3DShape2VecSet/Perceiver-style latent set abstraction，并非全新思想；新意在于把这种 abstraction 用来降低 mesh rendering 中的 transport token complexity。真正新增的信息是：对于 feed-forward mesh GI，object-centric latent 可能是比 triangle token 更合适的全局 transport 单位。
Dataset / Evaluation
评估主要在大规模 synthetic procedural dataset 上完成，覆盖多场景、多材质参数、多光照和多相机视角，适合验证跨场景 amortized rendering 的基本 claim。它确实证明了在论文定义的数据分布内，RenderFormer++ 比 RenderFormer 更能处理大 triangle count 场景，也能在 unseen scenes 上保持质量。
但这个 benchmark 对核心 claim 的支持仍有限。第一，没有真实世界资产、真实材质扫描、复杂纹理或生产级场景；论文承认当前数据不含 textured objects，且对象内材质共享。第二，reference 是 Blender path tracing + denoising，任务仍是拟合特定 renderer/data pipeline，而不是验证物理可迁移性。第三，大场景比较中 RenderFormer 无法同等训练，这使得结果同时反映了 baseline scalability failure 和方法本身优势，公平性有天然限制。第四，所谓 physical accuracy 主要通过图像指标和 ablation 间接支持，缺少针对能量守恒、多次反射分量、OOD lighting/material、visibility edge case 的诊断实验。
Limitation
方法成立依赖几个强前提：场景能被合理拆成 objects；object 内部 triangle 信息可被少量 latent token 压缩；训练分布覆盖了测试中的几何、材质、光照组合；G-buffer 可稳定获得且包含足够局部几何/材质线索。任何一个前提破坏，模型的 feed-forward 泛化都会变脆。
scalability 的上限不是消失了，而是从 triangle-level quadratic attention 转移到 object-level token 数、object 内聚合质量和 latent bottleneck 容量上。若单个 object 本身非常复杂，或者对象间存在高频遮挡/细碎间接光，固定 query 数可能不足。HOCT 的压缩会损失 visibility 和局部 transport detail，这一点文中没有充分量化。
物理一致性也有明显上限。PITG 在 feature space 中模拟 rendering equation，但没有约束 BRDF reciprocity、radiance positivity、energy conservation 或真实 transport operator 的线性/谱性质。TCL 可能只是让 feature iteration 更平滑，而不一定让渲染结果更物理。文中未充分说明 latent residual 为什么能代表 radiance residual。
泛化可能主要来自数据覆盖和 procedural distribution 的规律性。500K scenes、2M images、A100 训练 7 天本身就是很强的 scaling。若测试集与生成器共享 object/material/light priors，模型可能学到的是 distribution-conditioned rendering shortcut，而不是真正可组合的 transport reasoning。
Takeaway
- 第一，feed-forward neural GI 想走向大场景，token 粒度必须从 primitive-level 转向 structured latent；object-centric compression 是一个很自然且有效的方向。
- 第二，物理方程在这类模型中最现实的作用不是硬约束求解，而是塑造信息流和训练 regularization：把 emission、transport、readout 分开，比让 attention 自由混合更有样本效率。
- 第三，这篇真正推动的是 RenderFormer-style 方法的可扩展版本，而不是终结 path tracing 或提供严格物理 neural solver。
- 它的贡献在系统建模与 representation reorganization。
一句话总结
RenderFormer++ 是 RenderFormer 路线从 flat triangle Transformer 向 object-level latent transport Transformer 的一次可扩展化演进，真正贡献在于用层级 tokenization 和 rendering-equation-inspired recurrence 重组全局光照的信息流，而非严格求解物理光传输。