精读笔记

Problem Setting

论文题目：Capacity-Controlled Multi-View Stylization of 3D Gaussian Splatting（arXiv preprint / 2026）。这篇论文不是在重新定义 3DGS 风格化，而是在修一个更具体但很关键的问题：当 3DGS 用 2D feature matching loss 逐视角优化时，局部风格分配和跨视角对应关系都没有约束。困难点不在于 3DGS 能不能表达颜色变化，而在于同一组 3D Gaussians 被多个视角投影后，loss 看到的是一批 2D feature；如果每个 view 都独立最近邻匹配 style patch，那么同一物体表面在不同 view 下会被不同 style pattern 解释。以前方法常把一致性问题交给几何 regularization、DINO feature 或额外内容约束，但这些方法没有改变 assignment 本身。关键矛盾是：局部 2D style matching 越强，越容易获得高频纹理；但匹配越自由，越容易破坏 3D correspondence 和 style coverage。

Motivation

作者的出发点比较准确：现有路线缺的不是又一个 feature extractor，而是对 style feature 使用方式的控制。NNFM 的默认假设是每个 content feature 独立选择最相似 style feature，这在 2D image stylization 中已经会造成 pattern collapse，在 3D multi-view 中问题更严重，因为这种 collapse 会随视角变化投影到同一 3D 表面。已有 3DGS stylization 对 many-to-one 的处理要么很弱，要么是后验补丁：例如用全局统计增加风格感、用 DINO 增强 feature uniqueness、用 depth 保几何，但它们没有回答“一个 style patch 应该被多少 content patch 使用”以及“同一 3D 内容跨视角应该匹配到哪个 style patch”。这篇的关键缺口定位是：style matching 需要 capacity 和 temporal/view consistency 两类约束。

Core Idea

核心思想是把 style transfer 中的局部匹配从 retrieval problem 改写为 constrained allocation problem。NNFM 是每个 content token 独立检索一个 style token；CCFT 则把所有 content token 到 style token 的匹配联合起来，通过 semi-balanced optimal transport 给 style token 一个软容量。这个建模改变很重要：style token 不再是可无限复制的 texture stamp，而是一个带使用预算的资源池。于是系统被迫在低成本匹配和风格覆盖之间折中，天然抑制 many-to-one。

跨视角部分的思想不是做显式 3D surface correspondence，而是把上一视角的 transport plan 作为当前视角 KNN support 的 guidance。它重新组织了信息流：style correspondence 不再只由当前 view 的 feature similarity 决定，而是受到前一 view 的 assignment memory 影响。这是一个轻量的短程 matching prior，理论上能在连续 camera path 上稳定 style allocation。它的本质区别不是引入更强 representation，而是给原本无状态的 per-view matching 加了容量约束和顺序记忆。

Method

方法层面真正必要的部分只有三块。第一是 Capacity-Controlled Feature Transport：在 content features 和 style features 之间构建 Top-K 稀疏 bipartite support，然后解 entropy-regularized semi-balanced OT。row marginal 固定，保证每个 content feature 都被解释；column marginal 用 KL 软约束，控制 style feature 的使用分布。它解决的是 NNFM 的退化分配，而不是单纯换一个距离函数。

第二是 Cross-view Matching Guidance：上一视角的 transport matrix 会把 rendered features 聚合到 style feature 侧，形成每个 style token 的 guidance feature；当前视角搜索近邻时同时考虑 style feature 和这个 guidance。它解决的是 sparse support 随视角抖动的问题。注意这不是全局一致性约束，而是 sequential local consistency；它依赖训练 view order 有空间连续性。

第三是增强重建：depth loss 减少 floaters，shape/size regularization 抑制过度各向异性和过大 Gaussians。它解决的是 stylization substrate 太粗或太畸形时无法承载高频纹理的问题。机制上这是让 3DGS 更像细粒度表面贴图载体，而不是论文最核心的 matching 创新。

Key Insight / Why It Works

最核心的贡献是把 many-to-one matching 解释为容量失控，而不是 feature 不够好。这个判断成立：NNFM 的 collapse 来自局部独立决策，每个 content patch 都贪心选择最低成本 style patch，因此 dominant texture 被重复复用是机制必然。OT 的价值不在“更高级的距离”，而在联合分配和边际约束；column capacity 给 style coverage 加了硬结构先验，直接改变优化景观。

这篇最有效的部分大概率是 CCFT。它属于 better inductive bias + retrieval reweighting，而不是 representation learning。它没有学习新的语义空间，也没有显式建模 3D correspondence；它是在 VGG feature retrieval 上加一个可控分配层。cross-view guidance 是次核心：它把前一视角的 matching 当作 memory reuse，能提升连续视角稳定性，但不是长期状态建模，也不是全局 3D planner。增强重建更像 engineering substrate：小而均匀的 Gaussians 确实有利于贴高频纹理，但类似 regularization、pruning、densification 的思想在 3DGS editing 中并不陌生。

需要直接指出的是，方法的“multi-view consistency”并不来自严格的 3D surface-level style correspondence，而来自顺序优化中的局部匹配惯性。因此它在 ordered trajectory 上合理，在 random/sparse/non-overlap views 上上限明显。所谓 controllability 主要是 τ 控制 style feature 使用均匀性；这不是语义可控，而是分配熵/覆盖率可控。

Relation To Prior Work

它最接近 ARF/NNFM 系列和 ABC-GS/FAST 这类 feature matching 风格化方法，而不是 Gram/AdaIN 统计匹配路线。与 NNFM 的本质差异是从 independent nearest-neighbor retrieval 变为 global constrained assignment；与 ABC-GS 的差异是它不用全局线性 feature alignment 去扩展匹配，而是通过 OT capacity 直接限制 style feature 的复用。这个差异是实质性的。

与 MultiStyleGS、StyleGaussian 等使用 DINO 或几何约束改善一致性的工作相比，它的新增信息在 matching mechanism 内部：不是在 loss 外面加 consistency regularizer，而是让匹配本身具备容量和跨视角惯性。看似新的部分中，最优传输、Sinkhorn、unbalanced/semi-balanced OT 都是已有工具；新意在于把 column capacity 明确对应到 style patch reuse，并把 transport plan 复用为跨视角 guidance。技术谱系上，它属于“feature matching style transfer 的分配约束化”，不是生成模型路线，也不是 feed-forward 3D stylization。

Dataset / Evaluation

实验覆盖 forward-facing 和 360° 场景，style image 来自不同艺术类别，基本能验证常规 3DGS stylization 场景下的视觉质量和跨视角一致性。评价指标选择也对齐 claim：ArtFID 看风格质量，结构损失看内容保留，MEt3R 看多视角一致性，用户研究补足主观质量。

但 evaluation 仍有明显边界。首先，它主要验证连续相机轨迹上的 view consistency，而 cross-view guidance 正依赖这种顺序连续性；随机 view order 的补充实验显示 guidance 效果会明显减弱，这其实暴露了方法的适用前提。其次，量化指标提升并非压倒性，很多说服力来自视觉对比和用户偏好。第三，per-scene optimization 和更高 runtime 带来的 test-time compute 增益没有被完全剥离；与 feed-forward baseline 的比较在效率维度并不公平，但在质量维度合理。整体看，实验支持核心机制有效，但没有证明它能泛化到任意 camera graph 或真实交互式部署。

Limitation

最大限制是它没有真正建立 3D-consistent style correspondence。cross-view guidance 只是相邻 view 的 transport memory，依赖 view order、overlap 和连续轨迹；一旦相机稀疏、顺序打乱、视角跳变大，guidance 就接近失效。文中未充分说明如何在一般 camera graph 上传播或融合多个邻居的 matching。

第二，capacity control 有明确上限。强 column constraint 会提高 style coverage，但也可能强制使用语义或结构不合适的 style feature；当 style image 与 scene 局部结构差异很大时，容量均衡可能牺牲内容边界。作者也观察到 guidance 增强会损伤 structure，这说明一致性部分本质是在用稳定 pattern 覆盖部分内容细节。

第三，增益归因不完全干净。CCFT、enhanced reconstruction、color-only optimization、pre/post color transfer、更多 Sinkhorn test-time compute 都参与最终效果。核心能力可能主要来自更好的 assignment bias，而不是 3D 表示能力提升。增强重建的贡献虽合理，但可能主要是 engineering / regularization；其与已有 3DGS pruning/densification/geometry cleanup 的边界并不十分新。

第四，部署上限明显：per-scene optimization、8 分钟级 stylization、VGG feature extraction 和 Sinkhorn 迭代都不适合实时编辑。它更像高质量离线风格化 pipeline，而不是可交互系统。

Takeaway

• 第一，3D stylization 的一个关键方向应该从“设计更强 style loss”转向“约束 style correspondence 的分配结构”。
• many-to-one 不是副作用，而是独立最近邻匹配的结构性缺陷。
• 第二，OT 在这里真正有用的不是 Wasserstein 名义，而是 capacity / marginal constraint 作为 inductive bias。
• 这个 insight 可以迁移到 texture synthesis、video stylization、multi-view editing、appearance transfer：当 reference patch 被无限复用导致 collapse 时，应考虑把 reference 当作有限资源。

一句话总结

这篇论文把 3DGS 多视角风格化从逐视角贪心特征检索推进到带容量约束和短期跨视角记忆的分配式匹配，是 feature-matching style transfer 在 3DGS 场景中的一次机制性修正，而不是单纯的模块堆叠。