精读笔记
Problem Setting
论文标题：InvSplat: Inverse Feed-Forward Scene Splatting（arXiv preprint / 2026）。
这篇论文不是在做一般意义上的 intrinsic image decomposition，而是在做 feed-forward inverse scene reconstruction：给定少量已知位姿图像，一次前向得到一个可以从新视角渲染的 3D Gaussian scene，并且每个 primitive 带 albedo、metallic、roughness、normal 等 intrinsic 属性。
真正困难点是 inverse rendering 的不适定性和 multi-view 约束之间的冲突。单张或逐视角方法可以生成看起来合理的 intrinsic maps，但每个视角都可能选择不同的解释，把 highlight、阴影、材质边界分别吸收到不同通道里；optimization-based 方法能通过场景级约束缓解这个问题，但代价是 per-scene fitting。关键矛盾是：要 feed-forward 的效率，又要 optimization-style 的 scene-level consistency。
Motivation
已有路线缺的是一个“可承载材质的 3D 中间表示”。2D inverse rendering 模型即使输入多视角，本质上仍输出 view-aligned maps，跨视角一致性需要网络自己学出来，表示层面没有硬约束；diffusion 类方法有强图像先验，但采样重、稳定性差，也没有自然的 NVS 接口；传统 inverse rendering 有物理建模，但每个场景都要优化。
作者的核心观察很直接：如果目标应用是 relighting、material editing、novel view synthesis，那么材质不应只是图像平面上的预测，而应该是场景表示的一部分。feed-forward 3DGS 已经证明 sparse views 到显式 3D 表示可以被 amortize；缺口在于这些方法学的是 RGB/SH appearance，而不是 disentangled material。InvSplat 就是把 feed-forward 3D reconstruction 和 material estimation 接到同一个 3D carrier 上。
Core Idea
核心思想是把 Gaussian splatting 从 radiance/appearance representation 改成 inverse-rendering representation。每个 Gaussian 不再只是负责在某个视角下合成颜色，而是携带几何、normal 和 PBR-ish 材质参数；输入视角提供观测，网络预测统一的 3D primitives，之后所有 material maps 都通过同一个 Gaussian set rasterize 出来。
这改变了建模方式：prior work 多数是“先在图像空间解释每个 view”，InvSplat 是“先构造一个共享 3D explanation，再投影回每个 view”。它引入的 inductive bias 是 material persistence：同一表面点的材质在视角变化下应保持不变，而 specular/highlight 应通过 normal/material/light/view 的组合解释。即便它没有完整解决未知光照分解，这个 bias 也足以改善 metallic/roughness 这类容易在 2D 中漂移的属性。
本质区别不在于用了某个 transformer 或 DPT head，而在于信息流被重排：geometry matching 决定哪些 pixels 应该合并成同一 3D support，material prior 决定这些 support 应该携带什么 intrinsic label，rendering loss 再把预测约束回多视角观测。
Method
方法中真正必要的机制有三层。
第一，3D Gaussian 作为材质载体。它解决的是 2D intrinsic maps 无法自然支持 NVS 和跨视角一致的问题。把 albedo/metallic/roughness/normal 附着到 Gaussian 后，consistency 不再完全依赖 loss，而部分来自 representation topology：同一 primitive 被多个视角共享。
第二，geometry branch 提供可 lift 的 surface support。没有相对可靠的 depth / correspondence，material 只能停留在 image plane。这里的 multi-view matching 和 depth prediction主要是在回答“哪些像素属于同一个 3D 点/局部表面”，而不是单纯提升深度指标。
第三，intrinsic branch 引入 material prior。metallic/roughness/albedo 从 RGB 中高度歧义，仅靠 sparse geometry 很难学稳，因此借用 MVInverse/DINOv2 类预训练特征相当关键。它提供的不是几何一致性，而是材质语义和反射属性的先验。
训练上，关键不是某个具体 loss 权重，而是所有属性通过 predicted 3D scene render 到监督视角再比较。这使监督作用在“共享 3D 场”上，而不是只作用在每个输入视角的局部 map 上。
Key Insight / Why It Works
最重要的 insight 是：对 inverse rendering 来说，3D representation 本身就是一种强 regularizer。很多 2D baseline 的错误并非因为不会预测单张图的 albedo，而是因为每个视角可以独立犯不同的错；一旦材质必须绑定到 3D primitive，再由同一个 primitive 解释多个视角，网络的自由度被压缩，material drift 会自然减少。
最可能的核心贡献是 representation alignment：把 ReSplat 式 geometry prior 和 MVInverse 式 material prior 对齐到同一个 Gaussian parameterization 中。它不是从零提出新物理模型，而是把两个已成熟能力拼到一个可微 3D rendering loop 里，并让 supervision 对共享表示生效。这是实质性的工程-建模结合，而不是纯模块堆叠。
哪些部分可能只是辅助：dual-branch 的具体层数、DPT head、Point Transformer refinement、skip connection 等，更像为了让两个 pretrained systems 接上而做的 architecture plumbing。文中 ablation 显示 unified design 比 naive MVInverse+ReSplat 好，但增益幅度不大，说明核心不是某个新模块，而是 jointly fine-tuned shared representation。
这篇方法的能力来源很可能混合了 better inductive bias、pretraining reuse 和 data coverage。material prediction 依赖 MVInverse prior，geometry 依赖 ReSplat prior，训练又依赖 synthetic dense material supervision。不能把最终效果完全归因于“学会了物理 inverse rendering”。更准确的说法是：它学会了在常见室内分布上，把 RGB evidence 映射到一个可渲染的 intrinsic Gaussian field。
另一个需要直说的点：它没有真正闭合 lighting estimation。relighting demo 使用简单点光或 synthetic GT lighting，本质上验证的是材质表示可以被 shader 消费，而不是证明真实场景下材质-光照分解是正确的。所谓 view-dependent effect modeling 在真实场景中更多是 plausibility，而非可验证的物理恢复。
Relation To Prior Work
最接近的两条线是 feed-forward 3DGS reconstruction 和 multi-view intrinsic prediction。相对 ReSplat/pixelSplat/MVSplat，它把 Gaussian 的 appearance 从 RGB/SH 换成 material factors；相对 MVInverse/DiffusionRenderer/DNF-Intrinsic，它把输出从 per-view image maps 提升为 scene-level 3D primitives。
看似新的部分有不少是已有思想重组：multi-view cost volume、DINOv2/transformer material features、DPT decoders、Gaussian rasterization 都不是新东西。真正新增的信息是把这些组件放进一个 inverse scene representation，使 geometry 和 material 在同一个 3D object 上被 jointly predicted 和 rendered。
相对 optimization-based inverse rendering，InvSplat 牺牲了 per-scene 精细拟合和显式光照建模，换取 amortized inference。它属于从“每场景求解物理参数”向“学习一个跨场景 inverse-rendering prior”的谱系演化；更像 generalizable inverse rendering，而不是传统意义上的高精度 inverse path tracing。
与 2D baseline 的本质差异不是指标谁高，而是输出对象不同：2D 方法输出观测视角解释，InvSplat 输出一个可被 novel-view 查询的 material scene。这一点是实质差异。
Dataset / Evaluation
评估覆盖了 synthetic indoor material supervision、另一个 synthetic dataset 的 consistency、以及真实视频/多视角数据的 qualitative generalization。它基本验证了论文最核心的工程 claim：在保持接近 2D baseline 的 material quality 时，显式 3D 表示带来更好的跨视角一致性和 novel-view material rendering。
但 evaluation 对更强 claim 支持不足。首先，InteriorVerse/Structured3D 都是室内 synthetic 或高度结构化数据，材质类别、光照模式、几何复杂度与真实部署仍有差距。真实世界部分主要是 qualitative，没有 ground-truth material，也无法判断 metallic/roughness 是否物理正确。
其次，baseline 选择有利于凸显 3D consistency。论文没有在充分多视角、有强 pose、有可优化条件下与 IRIS / Intrinsic Image Fusion / GS-IR 等 per-scene 方法正面对比，因此不能说明它达到 optimization-based inverse rendering 的质量，只能说明它在 feed-forward regime 下更一致。
第三，consistency metric 使用 GT depth/pose warp 来比较 2D maps，对验证 view-level drift 是合理的，但并不完全等价于验证 3D material correctness。一个错误但平滑一致的 3D material field 也可能得分不错。
Limitation
核心前提很重：需要已知或可靠估计的 camera poses，需要输入视角有足够 overlap，需要训练集中有 dense depth/normal/material maps，还需要预训练 geometry/material networks 提供强先验。任何一个前提变差，representation-level consistency 可能会变成把错误一致地传播到 3D 中。
scalability 上限主要来自 sparse-view feed-forward reconstruction 的老问题：未观测区域不能生成可靠细节，pose error 会直接污染 Gaussian placement，多输入数量和分辨率变化会带来分布外问题。文中承认多视角和 pose error 下 artifact 增多，这不是小问题，而是部署瓶颈。
泛化需要谨慎看待。真实场景展示说明模型有一定 domain transfer，但并不证明 material estimation 泛化真实存在；很可能主要来自 DINO/MVInverse 的大模型 prior 加上室内数据覆盖。对于非室内、复杂 BRDF、透明/半透明、强镜面、动态光照，文中没有充分证据。
方法也把一部分 inverse rendering 难题转移了：它不显式恢复环境光、相机响应或 HDR illumination，因此 albedo/roughness/metallic 的分解仍可能吸收 lighting bias。relighting 可以做，但真实 relighting 的物理可信度文中未充分说明。
增益归因不清。ablation 只能说明 unified fine-tuning 比 naive component stitching 好，不能清楚区分是 3D Gaussian material carrier、joint training、更多参数、pretraining reuse、数据筛选，还是 supervision recipe 带来的收益。
Takeaway
- 最值得记住的第一点：feed-forward inverse rendering 的下一步很可能不是更强的 per-view intrinsic predictor，而是把 intrinsic variables 放进可查询的 3D scene representation 中。
- 第二点：3DGS 在这里的价值不是渲染速度本身，而是作为 material consistency 的 structural prior。
- 这个 insight 可以迁移到 semantic fields、affordance fields、editable scene attributes 等任务：只要属性应在视角间持久存在，就不应只在 image space 预测。
- 第三点：这篇论文推动的是 representation-level integration，而不是物理建模突破。
一句话总结
InvSplat 是把 feed-forward 3D Gaussian reconstruction 从 RGB 外观合成推进到 intrinsic material scene representation 的早期尝试，真正贡献在于用共享 3D carrier 重写多视角 inverse rendering 的信息组织方式，而不是提出新的物理分解模型。