精读笔记

Problem Setting

这篇论文实际解决的是 city-level 3DGS 表面重建的分解问题：如何把超大规模多视角优化拆成多个可并行子问题，同时不破坏几何恢复所依赖的跨视角一致性。真正困难在于，大场景需要 partition 才能训练，但 partition 一旦按空间块做，就会天然制造边界可见性缺失、几何不连续和错误 source-view 组合。以前方法主要卡在把“适合渲染的空间局部性”误当成“适合表面重建的几何局部性”；对于 NVS，block 边界 artifact 可能可被 blending 或 appearance modeling 缓解，但对于 mesh / surface extraction，边界处的深度和法线错误会直接变成几何缺陷。关键矛盾是：scalability 需要切分，geometry consistency 又需要跨视角共享；切得越局部，显存越友好，但越容易切断真实可见性。

Motivation

已有路线不够的原因不是 3DGS 不会表达表面，而是大规模训练时视图组织方式错了。spatial partition 默认相邻空间区域内部的相机对同一几何有一致约束，但城市航拍或大场景中，相机位置相近并不意味着朝向一致，反而可能看到完全不同的 façade / roof / occluded region。作者的核心观察是，表面重建质量更多由 overlap-rich, small-viewpoint-difference 的视图集合决定；这和传统 MVS 的 source-view selection 经验一致。另一个动机是 SfM sparse point cloud 的缺洞不是后续 densification 能稳定修复的，因为没有初始高斯或可靠 photometric signal 的区域，优化很容易陷入空洞或漂浮表面。论文真正补的缺口是：在 city-scale 3DGS 中显式把“视角可协同关系”和“初始化覆盖完整性”纳入系统设计。

Core Idea

论文的核心思想是把大场景重建的基本分解单位从 spatial block 改成 viewpoint-consistent group。也就是说，它不再假设空间相邻就是一个好的优化子问题，而是优先让朝向相近、重叠更高、几何变化更小的 views 一起训练。这个改变引入的 inductive bias 很明确：每个子问题内部应该是一个局部 MVS-like reconstruction problem，而不是一个任意空间块的 radiance fitting problem。

这与 prior 的本质区别在于，VastGaussian / CityGaussian / BlockGaussian 等方法主要围绕 scene coordinates 做 load balancing 和 memory control，而本文围绕 visibility / orientation structure 组织信息流。它把 3DGS surface reconstruction 重新拉回到 MVS 的基本原则：可靠几何来自合适视角集合，而不是来自更复杂的 Gaussian regularizer。scene completion 则是第二层 bias：与其期待优化从稀疏初始化中 hallucinate 缺失结构，不如只对疑似缺洞区域增加几何种子点。这个策略更像 targeted data repair，而不是 dense reconstruction 的新表示。

Method

关键机制可以压缩为三件事。第一，orientation-first view partition：用相机 viewing direction 聚类，把朝向相近的图像放进同一训练组，解决 spatial block 中视角混杂导致的错误几何约束问题；随后用相机位置拆分过大的组，主要是为了负载均衡，而不是几何建模本身。第二，sub-cluster refinement：对每个组补入其 reference views 所需的 source views，解决分组边界处 overlap 不足的问题；这一步本质是在 partition 后重新接回局部 covisibility，不然 orientation clustering 仍可能造成信息截断。第三，initial point cloud completion：通过检测 COLMAP keypoints 在图像网格上的 entropy，找到投影点分布不均的候选图像，再用预训练匹配网络生成局部 dense correspondences 并三角化补点，解决 SfM 初始化缺洞导致 3DGS 无法生长出可靠表面的区域。

训练目标本身没有太多新意，主要继承 PGSR 式 multi-view photometric / geometric consistency、RGB loss 和 depth-normal consistency。这里的重点不是 loss 设计，而是让这些 loss 在更合适的 view group 内生效。换句话说，方法的核心不是“加了某个正则”，而是改变了正则可以工作的数据组织条件。

Key Insight / Why It Works

最重要的 insight 是：对于大规模 3DGS 表面重建，partition 不是工程细节，而是几何优化的 inductive bias。spatial partition 优化的是显存和并行性，但 orientation partition 优化的是 source-view 质量；后者更接近表面恢复的因果因素。因此该方法有效的主要原因不是 3DGS 表示更强，而是每个局部优化问题的条件更好：视角重叠更高、深度估计更稳定、patch NCC / geometric consistency 不容易被大角度视差或遮挡污染。

最可能的核心贡献是 viewpoint orientation partitioning。它本质上是一种 retrieval / grouping 策略，把适合互相监督的 views 检索到同一局部训练单元中。它也带有 scaling 属性：通过限制每组相机数和多 GPU 并行，把大问题拆成更均衡的子问题。但这里的 scaling 不是纯 engineering，因为拆分准则直接影响几何约束质量。scene completion 是有效但更像辅助：它提升的是 data coverage 和 initialization quality，尤其对稀疏点云缺洞区域有用；从 Table 6 看它对多种 baseline 都有收益，说明这部分不是本文专属建模能力，而是通用初始化增强。

需要直接指出的是，部分增益来源不清。orientation grouping、source-view refinement、completed point cloud、PGSR loss、训练并行策略同时存在，论文没有把“更好的 view grouping”和“更多/更密的初始化几何”完全解耦。MatrixCity 上的大幅提升可能同时来自 aerial 数据天然适合按朝向聚类，以及补点后 recall 提升。所谓 scene completion 不应被理解为语义级 completion，它更像基于匹配的局部几何补采样；如果匹配失败或视角覆盖本身不存在，它并不会真正推理出缺失结构。

Relation To Prior Work

它最接近的技术谱系是 large-scale 3DGS / NeRF 的 divide-and-conquer reconstruction，加上传统 MVS 的 source-view selection 思想。与 Block-NeRF、MegaNeRF、VastGaussian、CityGaussian-V2、BlockGaussian 的差异不在是否分块，而在分块变量从 world-space coordinates 转向 camera orientation / overlap proxy。与 CityGS-X 的差异也不是并行化能力本身，而是 CityGS-X 更偏 voxel-level efficiency，本文更偏 view-level geometric conditioning。

看似新的部分中，multi-view consistency loss、depth-normal consistency、dense point initialization 都是已有思想重组；真正新增的信息是把“大规模场景分解”重新定义为“构造多个局部 MVS-friendly view groups”。scene completion 的 entropy-based hole detection 很简单，但实用价值在于避免全局 dense MVS 的成本，把补全预算集中到初始化薄弱区域。实质创新不是提出新 representation，而是识别并修正 large-scale 3DGS surface reconstruction 中一个被低估的 failure mode：空间切块破坏了几何监督的视角结构。

Dataset / Evaluation

实验覆盖 GauU-Scene、MatrixCity、UrbanScene3D，包含合成/真实或准真实的大规模航拍与城市区域，规模从数百到数千图像，基本能检验 city-scale surface reconstruction 的 claim。评价重点放在 F1 / precision / recall 的表面几何质量，而不是只看 PSNR，这一点和论文目标一致。Ablation 显示角度阈值存在最优区间，说明 orientation grouping 的确不是任意切分；point-cloud completion 对多个 baseline 都有增益，也支持“初始化缺洞是共性瓶颈”的判断。

但 evaluation 仍有明显 limitation。首先，主要定量集中在有 GT point cloud 的 GauU-Scene 和 MatrixCity，UrbanScene3D 更多是视觉比较，几何结论不够硬。其次，GauU-Scene 评估裁剪中心区域，completion 可能发生在评估外区域，这会稀释或扭曲补全收益。再次，CityGS-X 在 MatrixCity 上结果与其原论文不一致，横向比较存在复现不确定性。最后，消融没有彻底回答：如果用 covisibility graph、feature overlap 或 COLMAP track overlap 直接分组，是否会优于简单 camera orientation。

Limitation

方法的首要隐含前提是 camera orientation 是 view overlap 的好 proxy。这在航拍、规则轨迹、相机朝向较一致的大场景中成立，但在街景、室内大场景、环绕采集、强遮挡或多层结构中可能失效。朝向相似不保证看到同一表面，朝向不同也不一定不能提供关键三角化约束；因此它不是一般意义上的最优 visibility partition，只是一个便宜且在目标数据上有效的近似。

第二个上限来自 point-cloud completion。它依赖 COLMAP keypoint 分布判断缺洞，但低 entropy 可能对应纹理分布、遮挡、天空/水面/玻璃等非几何缺失因素；补点依赖预训练 matcher，错误匹配会把噪声直接注入 initialization。文中未充分说明几何一致性过滤的强度、错误补点对 Gaussian 优化的影响，以及补点规模如何随场景增长。τ 增大带来 OOM 已说明问题并未消失，只是从 reconstruction stage 转移到了 initialization density 和显存管理。

第三，增益归因不完全清晰。方法同时改变了 view grouping、source view composition、初始点云密度和并行训练调度。核心能力可能主要来自更好的数据覆盖和更合理的 local view retrieval，而不是模型学到了更强的几何先验。泛化也未被充分证明：跨 dataset 不等于跨采集协议，一旦 benchmark 都是航拍/城市级静态场景，orientation bias 的有效性可能被数据分布放大。

Takeaway

• 第一，large-scale surface reconstruction 的 partition criterion 应该由 geometry supervision 决定，而不是由 memory layout 决定；这点比具体 3DGS 细节更值得迁移。
• 第二，view grouping 可以被看作一种 test-time / training-time retrieval：先检索互相有用的视图，再让局部一致性 loss 工作，这比盲目扩大模型或加正则更有效。
• 第三，初始化点云质量仍然是 3DGS 表面重建的硬瓶颈；局部 targeted completion 可能比全局 dense MVS 更实用。
• 第四，未来更值得做的是用显式 covisibility / uncertainty / overlap graph 学习 partition，而不是停留在手工 orientation threshold；本文证明了方向，但还不是最终形式。

一句话总结

这篇论文是 large-scale 3DGS 表面重建中一次从“空间切块扩展性”转向“视角一致性驱动分解”的方法演化，真正贡献在于用 MVS-style view organization 和局部初始化修复来改善 city-scale 几何优化条件。