精读笔记
Problem Setting
这篇论文不是在解决一般的 3D 生成，而是在解决“几何已给定或可由强 3D 模型恢复后，如何把复杂 reference texture 可靠地转移到 3D asset 上”。难点是复杂纹理同时要求高频细节、跨视角一致性和完整表面覆盖：文字不能糊，格纹不能断，图案在相邻视角不能漂移。以前路线卡在两个地方：native 3D generative model 受限于高质量 textured 3D 数据稀缺，学不到足够丰富的 appearance prior；multi-view generate-and-bake 方法通常只生成少量独立视图，覆盖不足且容易在投影融合时产生 seam、blur、bleeding。关键矛盾是：复杂纹理需要大规模 2D/视频视觉先验，但最终产物必须满足 3D 表面一致性；Ink3D 的目标就是在这两者之间搭桥。
Motivation
已有路线不够的根因不是 3D 表示不够花，而是监督分布不够强。3D asset 数据在数量、纹理复杂度、材质多样性上远小于图像/视频数据，因此把 texture fidelity 期待寄托在纯 3D 模型上，本质上受数据上限限制。作者的核心观察是：视频生成模型已经在互联网级数据中学到复杂外观和局部时序一致性，而 orbit scan 本身可以被解释成一种特殊视频；如果能把白模几何作为条件注入视频模型，就可以把 3D texturing 转成 video prior 更擅长的问题。这里真正缺的是 dense, geometry-aware, temporally coherent appearance observations，而不是又一个稀疏多视角扩散模型。
Core Idea
Ink3D 的核心思想是重新组织 texture synthesis 的建模对象：不直接生成 UV texture，也不直接让 3D diffusion hallucinate texture，而是生成围绕目标几何的连续 orbit videos，再把视频帧当作 dense multi-view observations 进行 3D baking。这个转化引入了两个 inductive bias：视频模型的时序连续性对应相邻视角 appearance consistency；显式 normal / position 条件把视频 token 约束到给定 mesh 的表面结构上。
和 prior 的本质区别在于，它不是把 sparse multi-view image generation 做得更强，而是把视角采样从离散、独立、欠覆盖，变成连续、相关、近全覆盖。更重要的是，它把最难的 appearance modeling 外包给大规模视频先验，把 3D 模型主要用于几何约束和最后的 consistency repair。这使方法比纯 3D texture model 更 scalable，因为外观能力可以随视频 foundation model 进步而提升；但也意味着核心能力很大程度继承自视频模型，而不是从 3D 数据中学来。
Method
方法层面应看作三个机制，而不是模块堆叠。第一，geometry-first decomposition：先用 Trellis-2 这类模型获得 white mesh，把结构问题和纹理问题拆开。这解决的是 3D joint generation 中 geometry/texture 同时受限的问题，核心变化是让 texture synthesis 不再依赖稀缺 3D texture distribution。
第二，geometry-conditioned orbit video generation：OrbitPainter 生成水平和垂直两条 360° orbit videos，并用 reference image 提供 appearance prior，用 normal / 3D-position videos 提供 surface-aware condition。这里需要 3D position 的原因很直接：normal 只能给局部朝向，position 才能跨帧建立“这是同一个表面位置”的强约束。GASA 进一步把 attention 限制到 3D 邻域内的 token，本质是在 Transformer 内显式注入 surface correspondence。
第三，robust neural baking：dense views 不能简单平均，因为视频生成的 orbit frames 只是视觉上像一致，并不严格满足投影几何。TextureOptimizer 先在 voxel graph 上做 view selection，减少跨视角混合造成的 blur/seam，再用 Trellis-2 的 denoising prior 修正局部不一致。它解决的不是生成复杂纹理，而是把不完美的 video observations 转成较干净的 3D texture representation。
Key Insight / Why It Works
最重要的有效性来源大概率是 representation alignment：orbit video 把 3D 表面外观映射到视频模型天然擅长的连续视角生成空间，而 position/normal 条件再把视频 latent 拉回几何约束空间。换句话说，Ink3D 成功不是因为提出了一个全新的 3D texture representation，而是因为找到了一个让大视频模型能力可被 3D pipeline 消费的接口。
真正的核心贡献应是“dense geometry-aware video prior for texture observation”，而不是 TextureOptimizer 或某个 attention 细节本身。GASA 有意义，因为它把同一表面点跨视角对齐，减少 full attention 在长视频中学习 correspondence 的负担；但它更像是增强 geometry conditioning 的工程化 inductive bias。TextureOptimizer 也关键，但更像必要的 repair layer：它承认视频生成并非严格 3D-consistent，然后用 graph cut + 3D prior denoising 去吸收误差。
这篇的增益很可能混合了三类因素：scaling / data、better inductive bias、test-time compute。Scaling / data 来自 Wan-2.2 对复杂图案和文字的强先验；inductive bias 来自 orbit video + geometry token correspondence；test-time compute 来自 122 帧高分辨率视频和后处理优化。文中消融说明 position prior 和高分辨率/高帧数很重要，但没有完全拆清楚到底是视频 foundation model 的数据覆盖在赢，还是 GASA / baking 在赢。我的判断是：复杂纹理 fidelity 主要来自视频模型的数据覆盖，3D-aware components 主要负责让这些纹理不要在 3D 上崩。
Relation To Prior Work
它最接近的是 multi-view generate-then-bake texturing 系列，以及 SeqTex 这类尝试用视频模型做纹理生成的工作。和 SDS / optimization-based texturing 相比，Ink3D 不依赖 2D diffusion score 反复优化渲染图，因此避免了典型的 oversmoothing 和 baked lighting。和 UV-space generation 相比，它不把问题压到易变形的 2D unwrap 空间，而是在 view/video space 中保留视觉模型优势，再回到 voxel/mesh space。
与 sparse multi-view 方法的本质差异是 observation density 与生成相关性：prior 通常生成 4/6 个视图，并假设它们足够覆盖表面；Ink3D 生成连续 orbit videos，使覆盖和相邻视角一致性成为模型先验的一部分。SeqTex 虽然也使用 video prior，但仍偏 sparse/UV-oriented，因此没有充分利用视频模型的连续运动建模能力。
看似新的部分中，geometry-first decoupling、multi-view baking、graph-cut style view assignment 都不是全新思想；实质新增在于把大规模视频生成模型系统性地接入 3D texturing，并用 3D position-aware attention 让视频 token 具有 surface correspondence。这属于“用 2D/视频 foundation model 补 3D 数据短板”的技术谱系，而不是纯 3D generative modeling 的突破。
Dataset / Evaluation
评估覆盖的是一个相对人工构造但针对性强的 setting：从 Texverse 取 85 个几何，去掉原纹理，再用商业图像模型生成复杂 reference image。这能检验 reference-conditioned complex texture transfer，但不等价于真实 3D asset 数据分布，也不证明开放世界 reference 的鲁棒性。
指标主要是把生成 asset 渲染成 front view 后与 reference image 比较，包括 FID、CLIP-FID、LPIPS、CLIP-I。这些指标能部分反映前视图外观保真，但不足以验证完整 360° consistency、背面 hallucination 质量、UV seam、局部文字可读性、真实编辑工作流可用性。核心 claim 是“生成极复杂且 3D coherent 的纹理”，但 evaluation 更强地验证了“front-view texture fidelity”，对全表面一致性的支撑偏弱。
消融是有信息量的：去掉 3D position 明显退化，说明几何坐标是关键条件；降低分辨率或帧数会损伤质量，说明结果依赖 dense high-quality video observation；TextureOptimizer 优于 average/differentiable baking，说明 naive fusion 无法处理视频几何误差。但整体 benchmark 小、样本来源构造化、reference 由 Nano Banana 生成，存在 evaluation bias；是否存在训练数据或视觉模式 overlap 文中未充分说明。
Limitation
最大限制是它把 3D 纹理生成问题转移给了视频 foundation model，而不是完全解决。只要视频模型在某类物体、材质、文字、非典型视角上不稳，Ink3D 就会继承这种不稳。所谓泛化很可能主要来自 Wan-2.2 的数据覆盖；如果目标纹理超出视频模型训练分布，geometry-aware attention 并不会凭空生成正确细节。
第二，几何一致性仍是软约束。Orbit video 看起来连续，不代表每一帧都满足同一个 underlying mesh 的投影几何；TextureOptimizer 的存在本身说明视频模型没有真正形成严格 3D representation。对平面高频图案、细长结构、复杂遮挡边界，任何小的视角漂移都会导致 blur 或 bleeding，只是被 graph cut / denoising 缓解。
第三，推理成本高，且质量依赖 512²、122 帧这类 expensive dense observation。附录显示单 H100 约 13 分钟，视频生成占绝大部分；这更像用 heavy test-time compute 买质量。DMD2 acceleration 可能降低延迟，但是否保留文字和高频纹理质量文中未充分说明。
第四，增益归因不完全清晰。Ink3D 同时用了 Wan-2.2-14B、LoRA fine-tuning、dense videos、GASA、graph-cut baking、Trellis-2 prior denoising。消融覆盖了一部分，但没有彻底回答：如果换更强/更弱的视频模型，方法还剩多少贡献？如果只增加 sparse views 数量而不用 video prior，会差多少？如果不用 Trellis-2 denoising，仅 graph cut 能到什么程度？这些决定了它是方法创新还是 scaling-driven pipeline engineering。
Takeaway
- 第一，复杂 3D texture 的下一步很可能不是继续扩大 3D asset dataset 后训练 monolithic 3D model，而是更系统地利用 image/video foundation models，并设计可逆的 2D-video-to-3D 接口。
- 第二，dense continuous views 比 sparse independent views 更适合作为 texture evidence，尤其在文字、格纹、服饰图案这类高频纹理上；视频模型的 temporal consistency 可以被重解释为 multi-view consistency prior。
- 第三，几何条件不能只作为输入图像或 depth/normal prompt，而应进入 token correspondence / attention / fusion 层面。
- 3D position 是这篇里最值得迁移的信号：它把视觉生成 token 绑定到 surface location。
一句话总结
Ink3D 是一条把复杂 3D 纹理生成从稀缺 3D 数据问题转化为 geometry-conditioned dense video generation 问题的 scaling-oriented pipeline，真正贡献在于用视频 foundation prior 和显式表面对应重构了 3D texturing 的信息流。