精读笔记

Problem Setting

《How to Build Digital Humans? From Priors to Photorealistic Avatars》（arXiv preprint / 2026）解决的是数字人研究的“系统建模与技术地图”问题，而不是提出一个单点 SOTA。它把可控 3D human avatar creation 重新表述为一个由 prior learning、avatar creation、avatar animation 组成的系统，并重点分析前两阶段。真正难点在于：avatar 任务同时要求 identity fidelity、novel-view consistency、motion controllability、photorealistic rendering、relighting、asset editability、real-time animation 和低输入成本，而这些目标天然冲突。以前方法往往在单个 body region 或单个 representation 上推进，例如 head avatar、monocular body NeRF、3DGS full-body、strand hair、garment simulation，但缺少能解释“为什么这个方法需要这么多数据/这么强 prior/这么慢 creation”的统一坐标系。本文抓住的关键矛盾是：输入越少，prior 越重；控制越强，representation 越结构化；视觉越逼真，material / lighting / data requirement 越难隐藏。

Motivation

已有路线不够的根本原因是领域已经从“能不能重建一个人”转向“在什么输入、什么成本、什么控制、什么部署环境下构建什么类型的人”。传统 3DMM 提供控制和结构，但外观容量弱；NeRF 类方法外观强，但慢且难编辑；3DGS 提供实时和显式 primitive，但物理/material 解耦仍不自然；diffusion/video prior 覆盖大、感知质量高，但 3D consistency、可交互性和精确控制不足。作者的核心观察是，当前进展很大一部分来自 prior 的迁移：用 3DMM 提供几何/运动低维结构，用 image/video diffusion 补未观测视角和 appearance，用 large 3D/4D datasets 训练 universal prior，用 physics 或 simulation 补 hair/cloth dynamics。缺口不是缺一个更强 renderer，而是缺一种理解不同 prior 如何在系统中承担不同不确定性的方式。

Core Idea

核心思想是把 digital human 从“某种 3D 表示”提升为“受控制信号驱动的 avatar system”。作者定义 avatar 是从控制信号到图像的函数；2D avatar 直接生成图像，3D avatar 则强制经过 3D representation 和 renderer。这一抽象很有用，因为它把 2D video avatars 和 3D avatars 放进同一比较框架：差异不在于输出是不是图像，而在于是否存在可检查、可组合、可交互的中间 3D 状态。

更重要的是三阶段分解：prior learning 负责把大规模人类数据压缩成可迁移约束；avatar creation 负责用少量 identity specs 实例化个人；animation 负责在实时预算下响应 pose、expression、camera、lighting 等非身份控制。这个分解改变了对方法的判断方式：一个方法如果 single-image 效果好，本质上可能是 prior 强，而不是 reconstruction 强；一个方法如果 animation 快，不代表 creation 便宜；一个方法如果 3D consistent，可能是因为 representation 有显式 geometry，也可能只是 multi-view diffusion 在训练分布内学到了视角相关性。本文的贡献在于把这些 hidden assumptions 显式化。

Method

第一，函数式 avatar 定义解决了 2D/3D 路线不可比的问题。它要求我们问：camera control 是真实 3D rendering 还是 learned view hallucination；motion control 是 parametric 3DMM、subject-specific latent、video driving，还是完全由 generator 吸收。这个定义的核心变化是把“看起来可控”与“结构上可控”分开。

第二，三阶段 pipeline 解决了 cost attribution。很多工作把一次性训练、每身份优化、每帧渲染混在一起讨论，导致 scalability claim 很容易误导。作者把 prior learning 放在 builder side，把 creation 放在 user side，把 animation 放在 deployment side，使得方法的真实部署边界更清楚。

第三，taxonomy 按 representation、prior、input、asset、lighting、speed 和 animation signal 横向比较。它的必要性在于 avatar 方法的失败通常不来自单个模块，而来自某个维度被隐藏：例如需要 tracked 3DMM、registered mesh、OLAT capture、known cameras、dense multi-view video、synthetic training set 或 diffusion-generated pseudo views。表格不是为了罗列，而是暴露方法成立的条件。

第四，分层建模 head / hair / hand / garment / full-body。这个机制层面的意义是：数字人不是一个统一 surface 就能解决的问题。hair 是 strand / scattering / dynamics 问题，garment 是 topology / cloth physics / sewing pattern 问题，hand 是 large articulation / contact 问题，head 是 identity-expression-social cue 问题。把它们 monolithic 地塞进一个 NeRF/3DGS 往往牺牲 editability、simulation readiness 和 relighting。

Key Insight / Why It Works

这篇文章最重要的 insight 是：数字人领域的核心进展并不是某一种 representation 单独胜出，而是 prior placement 的变化。3DMM 仍然是最稳的 control prior；3DGS 主要解决 rendering efficiency 和 explicit deformation convenience；diffusion/video models 主要解决 data coverage 和 unseen-region hallucination；physics/simulation 主要解决 hair/cloth 的 secondary dynamics；large multi-view datasets 主要支撑 universal avatar priors。真正有效的是这些 prior 在 pipeline 中各司其职，而不是某个端到端模型突然“理解了人”。

我认为本文最有价值的贡献是把很多论文的增益归因从模型结构拉回到数据和约束。单图/少图 avatar 的能力大概率主要来自 pretrained appearance prior 或 synthetic/multi-view data coverage，而不是从输入中恢复了真实 3D。很多所谓 generalizable reconstruction，本质是 retrieval / interpolation in learned human distribution；当目标身份、发型、服装、光照或动作超出训练覆盖时，上限会迅速暴露。很多 video diffusion avatar 看似有 motion reasoning，实际更像在强视频先验中做条件生成，长期状态、空间一致性和物理接触并没有被真正建模。

3DGS 的流行也应被冷静看待：它确实改善了训练/渲染效率，并让 forward deformation 比 NeRF 更自然，但它本身不解决 material disentanglement、occluded geometry、physical dynamics 或 semantic editability。其优势很大一部分是 engineering sweet spot：显式 primitive + differentiable rasterization + GPU-friendly rendering。对 avatar 来说，这是非常实用的系统转折，但不是完整的 human prior。

文章还隐含指出一个关键上限：如果没有足够强的结构化先验，2D video generation 很难满足 VR/AR、multi-user consistency、precise garment measurement、relighting 和 interactive editing；但如果只依赖显式 3D，又很难覆盖开放世界的人类外观与行为分布。未来最可能成立的是 hybrid：3D 提供可控、可测、可组合的 scaffold，2D/video foundation model 提供外观、行为和未观测区域的补全。

Relation To Prior Work

它最接近的是 neural rendering survey、3D human avatar survey、neural field avatar survey、3DMM survey、controllable video generation survey 和 diffusion survey，但本质不同在于它不围绕单一技术范式组织，而是围绕 avatar system 的信息流组织。和 3DMM survey 相比，它不只关心低维几何模型，而关心 3DMM 在现代系统中作为 control prior / geometry proxy 的角色。和 neural rendering survey 相比，它不把 NeRF/3DGS 当中心，而把它们视为不同 stage 中的 representation choice。和 avatar reconstruction survey 相比，它更强调 hair、hands、garments、relighting 这些决定真实 digital human 完整性的资产层问题。

看似新的地方其实有不少是已有思想的重组：三阶段 pipeline 对从 generative prior 到 personalization 再到 rendering 的分解并不陌生；identity/control disentanglement 也是 3DMM、codec avatar、talking head、body avatar 长期在做的事；layered representation 也来自传统 graphics 和 production pipeline。但实质创新在于把这些分散经验整理成一个可比较的 taxonomy，并明确把 2D avatar、3D avatar、hybrid prior、asset-specific modeling 放到同一分析空间。这对研究判断比又一个局部 benchmark 更有价值。

Dataset / Evaluation

作为 STAR report，它没有自己的实验 benchmark，evaluation 主要是通过文献覆盖、taxonomy 表格和 dataset 汇总来支持论点。覆盖范围很广：head、body、hands、hair、garments、relighting、simulation、2D/video generation 和 synthetic media detection 都被纳入，这足以支撑“digital human 是多 prior、多 asset、多 stage 系统”的 claim。它也明确指出不同子领域事实上使用了各自的 de facto benchmark，例如 head portrait、monocular body、hand reconstruction 等，但这些协议不统一，指标和数据切分也可能导致不可比。

但这类 evidence 不能验证某条路线的真实优越性。表格能显示方法需要什么输入、使用什么 prior、是否实时、是否 relightable，却无法回答增益到底来自 representation、数据规模、训练集覆盖、隐式监督还是测试时优化。对于 video diffusion / foundation models 的能力，benchmark 更薄弱：现有评估很难同时衡量 identity preservation、view consistency、long-horizon temporal coherence、physical contact、multi-person spatial consistency 和 interactive latency。因此本文的 evaluation 更像领域诊断，而不是方法证明。

Limitation

本文成立的前提是可以通过 taxonomy 把高度异质的 avatar 方法压到若干维度中比较，但这会不可避免地丢失具体方法的实现细节和 failure mode。某些分类边界并不唯一，例如 2.5D portrait animation、3DMM-conditioned diffusion、Gaussian primitives attached to meshes、video-driven reenactment 到底算 2D、3D 还是 hybrid，文中未充分说明一个严格判据。

更大的限制是归因仍不彻底。文章指出了 priors 的重要性，但没有系统拆解哪些性能来自 data coverage，哪些来自 architecture，哪些来自 test-time compute，哪些来自 hidden supervision。对 single/few-shot avatar 来说，核心能力可能主要来自数据覆盖和 generative prior，而不是几何推断；对 full-body video diffusion 来说，所谓 motion understanding 很可能更接近 training distribution 内的 conditional synthesis；对 universal 3D prior 来说，泛化可能依赖 benchmark overlap 或合成数据偏置。

真实 deployment 鸿沟也没有被完全量化。很多方法的 animation 是实时的，但 creation 可能需要几分钟到几小时；很多方法能 novel-view，但不能 robust relighting；很多方法能生成 hair/garment appearance，但没有可模拟物理参数；很多方法能单人演示，但 multi-person、contact-rich、spatial-aware 场景仍不成立。换言之，当前系统常常是把不确定性从 reconstruction 转移到 prior、从 runtime 转移到 offline training、从 geometry 转移到 hallucination。

Takeaway

• 第一，数字人研究的主线会从 representation competition 转向 prior orchestration：关键不再是 NeRF vs 3DGS vs diffusion，而是哪些信息应由显式 3D、哪些由 generative prior、哪些由 physics、哪些由 personalization 承担。
• 第二，3D 不会被 2D video generation 简单替代。
• 2D foundation models 会吃掉大量 perceptual avatar 应用，但需要空间交互、资产编辑、重光照、度量准确性和多用户一致性的场景仍需要 3D scaffold。
• 更可能的方向是 3D-conditioned video generation 或 video-prior-guided 3D avatar creation。

一句话总结

这篇论文在数字人方向中的位置是一份把 3D avatar、2D/video priors、asset-layer modeling 和 photorealistic rendering 统一到“prior placement + personalization + controllable animation”框架下的研究地图，真正贡献是让领域从比较模块转向比较信息流与隐含前提。