精读笔记
Problem Setting
[MACRO: Training-free Multi-plane Attention for Closeup Render Optimization]（arXiv preprint / 2026）
这篇论文解决的不是传统 3DGS 的抗锯齿、超分或普通 novel view artifact removal，而是 close-up novel view synthesis 中一个更尖锐的问题：target camera 明显比任何训练相机更近，3DGS 渲染变糊，而 reference-guided diffusion enhancer 虽然能补纹理，却会在 cross-view attention 中拿错尺度的 reference texture。
真正困难点在于 close-up 的尺度差不是全局常数，而是由深度决定的空间变尺度问题。前景、背景、遮挡边界在 target 中被放大的比例不同；单张 reference 也通常不能完整覆盖 close-up 视野。已有方法卡住的地方不是“没有 diffusion prior”，而是 reference token 和 target token 的表征并不处在可比较尺度上，attention 的相似性检索基础被破坏。
关键矛盾是：缺失细节必须从真实 reference 中取，而 reference 与 target 又天然不在同一尺度；如果直接让 2D latent attention 自己解决这个几何问题，它会把尺度不匹配误当成内容不匹配，或者复制正确位置但错误尺度的纹理。
Motivation
作者的 motivation 比较明确：现有路线把 close-up degradation 当作一个可由 generative enhancement 或 progressive refinement 缓解的分布外问题，但忽略了根因是 cross-view representation alignment。Difix/GSFixer 这类方法默认 reference 与 render 在相近尺度下可通过 attention 建立对应；Close-up-GS/CloseUpShot 类 progressive 方法则通过中间视角降低每一步的 gap，但最终仍要面对尺度不一致，并且会把每轮错误写回 3D 表示。
核心观察有两个。第一，VAE 和 U-Net attention feature 对尺度敏感，同一场景 patch 以不同尺度进入网络后，query/key 空间不再自然对齐。第二，不能简单在 latent 里 resize 或 warp 来修正，因为 VAE encoder 不是 scale-equivariant：先 resize 再 encode 与先 encode 再 resize 不是同一个表示。这直接推出一个设计原则：尺度对齐必须发生在 image space、VAE 编码之前。
这篇缺口抓得比较准：reference-guided enhancement 的失败不是因为 attention 不够大或 diffusion 不够强，而是缺少一个显式的几何尺度 inductive bias。
Core Idea
MACRO 的核心思想是把 close-up enhancement 从一个“2D 网络隐式解决 3D 几何对应”的问题，改写成“利用已知 3D 结构预先组织 reference memory”的问题。它不训练新的 scale-equivariant backbone，也不要求 diffusion model 学会跨尺度匹配，而是在输入侧把 reference 裁成与 close-up 局部深度平面尺度一致的 patch，再让原有 attention 在一个更容易的同尺度空间中工作。
本质上，MACRO 引入的是 depth-conditioned scale alignment bias：同一 close-up 图像中的 token 不再共享同一 reference view，而是根据深度访问不同尺度的 reference crops。这改变了信息流组织方式：reference 不再是一个完整宽视角图像，而是一组按深度/尺度索引的局部 memory bank；attention 不再是 unrestricted global retrieval，而是带几何先验的 constrained retrieval。
和 prior 的本质区别在于，prior 多数试图增强 3DGS 表示或增强 diffusion 生成能力，而 MACRO 认为关键瓶颈在 reference-token alignment，并用 test-time geometry preprocessing 修正。它更像 retrieval alignment / representation alignment 方法，而不是新生成模型。
Method
方法中真正重要的机制不是 K、P 或具体 backbone，而是三个约束如何共同改变 attention 的可解性。
第一，multi-plane depth decomposition 用深度把空间变尺度问题离散化。close-up 中不同深度对应不同放大率，直接用单个 reference scale 必然混乱；把像素按 reciprocal depth 聚类，相当于把复杂的连续几何变换近似成少数局部常尺度区域。这不是精确几何重建，而是给 attention 一个足够粗但有效的尺度分区。
第二，scale-matched reference cropping 解决 VAE 前的表征对齐。对每个深度平面，依据 close-up/reference 深度比裁剪 reference 中对应区域，再 resize 到处理分辨率，使相同内容以相似 token scale 进入 VAE。这一步是方法的核心，因为它绕开了 latent 非等变性；如果只在 latent 中 warp，已经错位的表征不会自动变成可匹配表征。
第三，depth-masked attention 控制 cross-view 信息流。它让某个深度平面的 target tokens 只访问对应尺度的 reference crops，避免 foreground token 从 background-scale crop 拿纹理，也避免多个 reference crops 在 joint attention 中互相污染。消融显示 mask 的增益小于 crop 本身，因此它更像稳定器，而不是主发动机。
多 reference selection 的作用主要是 coverage：close-up 视野可能由多个训练视图部分覆盖，K references 提供更完整的可检索 memory。SR upsampling 则是在 reference crop 被放大后补偿视觉质量，但它也引入了增益归因不清的问题。
Key Insight / Why It Works
这篇最重要的 insight 是：reference-guided diffusion enhancement 的 close-up failure 首先是 representation alignment failure，而不是 generative capacity failure。只要同一内容在 target/reference 中尺度不同，U-Net attention 的 query/key 相似性就不再可靠；这时扩大模型、增加 progressive steps 或 retrain 3DGS 都是在绕路。
MACRO 有效的主要原因是把跨尺度匹配变成近似同尺度匹配。它没有让模型获得新的语义理解，也没有让 3DGS 本身恢复不存在的高频细节；它只是把 reference memory 重新采样到 diffusion backbone 更擅长处理的尺度，使原本已经存在于 pretrained enhancer 中的 texture transfer 能力重新可用。因此它本质上是 representation alignment + retrieval，不是 reasoning，也不是生成式补全能力的根本突破。
最可能的核心贡献是 image-space scale matching before VAE。这个判断由两个证据支撑：VAE 非 scale-equivariant 的分析直接排除了 latent correction；消融中 backward warp 大幅退化，而 no-mask 只小幅退化，说明“正确尺度的 reference crop”比“精细 attention routing”更关键。
辅助贡献包括 depth mask、多 reference selection 和 SR。mask 的作用是减少错误 retrieval，但如果 crop 已经对齐，attention 自身能找到不少对应；多 reference 更像提高数据覆盖率；SR 可能显著影响 perceptual metrics，尤其在 crop 被放大后。这里的增益来源不完全干净，特别是 PFT-SR 对 LPIPS/DreamSim/DINO 的贡献可能被低估。
从机制分类看，MACRO 不是 scaling，也不是 curriculum；progressive baselines 才是 curriculum-style。MACRO 更接近 test-time compute + geometry-aware memory reuse。它把已有训练视图当作外部 memory，并用 3DGS depth 建索引。所谓泛化主要来自不训练、使用 scene-specific geometry 和 reference images；不是模型学到了跨场景 close-up prior。
Relation To Prior Work
最接近的技术谱系是 reference-guided rendering enhancement，例如 Difix、GSFixer、FlowR、ArtiFixer，以及 3DGS close-up refinement 方法如 Close-up-GS、CloseUpShot。MACRO 与它们的差异不在于也用了 diffusion 或 reference，而在于它显式指出 reference attention 的尺度假设，并在 VAE 编码前修正这个假设。
相对 3DGS/Mip-Splatting/anti-aliasing 系列，MACRO 不试图从原 3D representation 中解析更多细节；它承认 3DGS 在 close-up 下的信息不足，转而从训练图像中检索真实纹理。相对 super-resolution for 3DGS，它处理的是 viewpoint-induced、depth-varying magnification，而不是同视角的 uniform upscaling。
相对 progressive self-training 路线，MACRO 的不同是它不通过中间视角减少 distribution gap，而是直接重排 reference 的尺度。progressive 方法看似更 3D，但实际可能把错误的 diffusion output 蒸馏回 3DGS；MACRO 反而保持 3DGS 固定，只在 enhancement attention 中注入几何约束，错误不积累。
看似新的部分有一些是已有思想重组：depth plane、reference crop、attention mask、multi-view coverage 都不是新概念。实质创新在于把它们组合到 reference-conditioned diffusion 的具体 failure mode 上，并明确提出“VAE 前 image-space scale alignment”这个约束。这个约束比模块本身更有价值。
Dataset / Evaluation
评价设计总体上是围绕核心 claim 服务的：两个 benchmark 都强调训练视图与测试 close-up 之间存在真实尺度差，其中一个来自 DL3DV 筛选，另一个是真机采集，能一定程度避免只在单一数据源上调参。任务覆盖的是静态场景、已知相机、已有 3DGS reconstruction 的 close-up enhancement；它不验证动态、极端遮挡、强反射或开放世界 close-up。
实验比较基本支持作者 claim：直接 3DGS/Mip-Splatting 糊，reference-guided enhancer 会复制错误尺度纹理，progressive variants 没有稳定解决根因，MACRO 在 perceptual metrics 上明显更强。尤其 attention scale sensitivity 与 VAE 非等变性的诊断实验，比单纯 benchmark 数字更能支撑方法动机。
但 evaluation 也有明显 limitation。首先，benchmark 构造依赖 far/close pair 的选择，是否覆盖真实 deployment 中更极端的无覆盖 close-up 不清楚。其次，perceptual metrics 可能偏好 sharper/SR-enhanced outputs，而不是严格几何一致性。再次，MACRO 使用 reference selection、crop SR 和 depth-based visibility filtering，baseline 是否享有同等程度的 test-time geometry engineering，需要谨慎看。文中未充分说明 SR 与 crop 对最终指标的独立贡献。
Limitation
最核心的前提是 close-up 内容必须在训练 reference 中以某种形式被看见。MACRO 不是 hallucination-free 的细节恢复器，而是 geometry-guided retrieval enhancer；如果 reference 覆盖不足、纹理在 wide view 中本身不可分辨、或 close-up 揭示了训练视图未观察到的背面/遮挡区域，它没有机制保证真实性。
第二个前提是 depth 与 camera geometry 足够可用。论文强调只需要 coarse depth，但 crop center、scale factor、plane assignment、occlusion filtering 都依赖 3DGS 深度。3DGS 在 close-up 下最差的区域往往也是几何/深度不可靠区域，因此这里存在 chicken-and-egg。作者说 mask 消融影响有限，说明局部 depth noise 不致命，但也反过来说明精细 depth reasoning 可能不是主因，主因可能只是粗尺度 crop + better reference coverage。
scalability 上限来自 KP crops 与 attention quadratic cost。论文选择 K=P=3 并非理论最优，而是质量/显存/运行时间折中；当 depth complexity 更高、reference 更多或分辨率更高时，memory bank 会膨胀。所谓 training-free 不等于轻量，MobileClose-10 单图推理仍然很慢，真实交互式 close-up deployment 还有鸿沟。
泛化也要谨慎理解。MACRO 泛化到新场景是因为它不学习场景参数，并使用每个场景自己的 reference/depth；这不是语义泛化，而是 test-time scene-specific retrieval。核心能力可能主要来自数据覆盖和几何对齐，而不是 diffusion backbone 获得了更强 close-up reasoning。
最后，增益归因不完全清晰。PFT-SR、reference selection、crop strategy、mask 都在同一 pipeline 中，虽然有部分消融，但还不足以完全分离“尺度对齐”与“更高质量 reference patch / 更好覆盖”的贡献。
Takeaway
- 1. close-up NVS 中最值得优先处理的不是生成模型容量，而是 target-reference representation alignment；如果 VAE/U-Net feature 不具备尺度鲁棒性，reference attention 会系统性失败。
- 2. 对 pretrained diffusion enhancer，很多几何问题应该在 image space、encoder 之前解决，而不是指望 latent warp 或 attention 自己修正。
- VAE 非等变性是一个很实用的设计约束。
- 3. MACRO 展示了一条有价值的路线：用 3D geometry 组织 2D diffusion memory。
一句话总结
MACRO 在 close-up 3DGS enhancement 中的真正贡献，是把 reference-guided diffusion 从不可靠的跨尺度 latent attention，改造成由 3D 几何驱动的 image-space scale-aligned retrieval，是一种 training-free 的 representation alignment 方法而不是新的生成模型。