Awesome Self-Supervised Learning / 计算机视觉

Self-supervised learning of a facial attribute embedding from video

作者：embedding from video, Olivia Wiles, A. Sophia Koepke · 来源：Preprint / Paper · 类别：视频表征学习 · 发布日期：2018

自监督学习表征学习图像表征视频表征机器人

精读笔记

Problem Setting

《Self-supervised learning of a facial attribute embedding from video》（Preprint / Paper, 2018）关注的不是“从视频生成脸”，而是利用视频作为无标签监督源，学习一个低维 facial attribute embedding。目标 embedding 要能在线性读出层下支持 pose、landmark、expression 等任务。

真正困难点在于：人脸图像中 identity、texture、illumination、background 与 pose/expression 强耦合，而下游需要的是后者。纯图像自监督任务往往学到语义或纹理偏置，未必把细粒度几何变化组织成线性可用的状态变量；显式无监督 landmark 方法又把表示形式预设为关键点，表达能力窄且任务特化。

这篇论文的关键矛盾是：如何让模型在没有 attribute label 的情况下，自动把“同一人随时间变化的东西”作为表示核心，同时避免表示退化成身份、外观或像素记忆。作者的答案是利用同一 face-track 内 identity 近似不变这一结构性约束，把帧间重建设计成必须依赖 pose/expression embedding 才能完成的几何变换问题。

Motivation

已有路线缺的是一个和 facial attributes 直接对齐、但又不需要人工标注的监督信号。旋转预测、颜色预测、context prediction 等通用 pretext 对人脸局部运动、口型、眼睛开闭、头部转动的约束太间接；它们可能学到有用 feature，但不保证学到可线性解码的 facial state。

另一方面，监督式 attribute/landmark/pose 学习的问题是标注昂贵且定义不稳定，尤其 expression label 噪声很大，pose in-the-wild 标注也困难。作者的核心观察是：视频天然提供了同一 identity 下不同 facial states 的样本；在同一 track 内，很多不希望进入 attribute representation 的因素近似固定，而 pose/expression 是解释帧间差异的主变量。

所以关键缺口不是缺一个更强 decoder，而是缺一个能把“帧间可变因素”压缩进 embedding 的信息瓶颈。FAb-Net 的动机正是通过 source-to-target warp 让这种瓶颈自然出现。

Core Idea

核心思想可以概括为：把人脸视频中的两帧看作同一 appearance 在不同 facial state 下的观测，训练网络用 source frame 的像素通过一个由 source/target embeddings 决定的 dense correspondence 生成 target frame。由于 decoder 只能看到两个低维 embedding 来决定如何采样 source，target embedding 必须告诉 decoder 当前脸应该处于什么姿态、表情和局部几何状态。

这改变了建模方式：不是直接预测属性，也不是显式发现 landmark，而是让属性成为完成跨帧 appearance transfer 的必要中间变量。其 inductive bias 是“attributes are the transformation parameters”：facial attributes 不被定义为标签，而被定义为同一身份图像之间可复用 appearance 的变换坐标。

和 prior 的本质区别在于，它不把时间顺序作为监督，也不预测未来帧；它只利用同 track 中 unordered frames 的共同 identity 结构。相比显式 landmark heatmap 方法，它不给表示规定几何格式；相比普通 frame synthesis，它把 synthesis 限制为 source-pixel warping，从而更强地迫使表示关注几何和表情，而不是无约束生成纹理。

Method

方法层面真正必要的机制有三类。

第一，shared encoder + low-dimensional bottleneck。source 和 target 用同一个 encoder 映射到 256 维 embedding，decoder 只通过这两个 embedding 预测 source-to-target flow。这在解决的问题是防止模型绕过 representation，直接利用高维图像特征重建；低维瓶颈使得能被保留下来的主要是对帧间变换有解释力的因素。

第二，warp-based reconstruction。decoder 不直接生成 target RGB，而是预测每个 target pixel 从 source 哪个位置采样。这一点很关键：它把任务从“图像生成”变成“几何/非刚性对齐”。对人脸而言，姿态、landmark configuration、嘴眼运动正是决定采样场的主要变量，因此 embedding 会倾向于编码这些因素。直接生成 RGB 的自由度太高，更容易学 texture/statistics，而不一定学 facial state。

第三，多 source + confidence map。单 source 在大姿态差、遮挡、口型不匹配时会产生不可解释区域；多 source 让模型可以从多个同身份帧中局部选择更合适的 appearance。confidence heatmap 的作用不是学习属性本身，而是降低 proxy task 的噪声，让重建损失更可靠地反馈到 attribute embedding。它本质上像一个局部 retrieval / attention over memories。

curriculum strategy 解决的是训练样本难度分布问题：一开始只反传低 loss 的较易样本，再逐步加入更难样本，同时跳过最难的 10%。这很可能是防止背景大变、检测错误、极端姿态等坏样本破坏训练。它带来性能提升，但更像 optimization/data filtering，而不是新的 representation principle。

Key Insight / Why It Works

最核心的有效性来自两个结构性约束叠加：同一 face-track 的 identity 近似不变，以及 reconstruction 被限制为 source-pixel warping。前者让 identity/texture 成为不需要显式建模的常量，后者让帧间差异必须通过几何变换解释。于是 pose、expression、landmark-like geometry 成为最经济的 latent code。

这不是一般意义上的 self-supervised video representation，而是一个很强的 domain-specific factorization：appearance 从 source image 来，state 从 embedding 来。只要 face-track 内 appearance 稳定，decoder 就可以把 source 当作 identity/texture memory，把 embedding 当作 deformation controller。这也是为什么 retrieval 结果会按 pose/expression 聚类：embedding 被训练成变形控制变量，而不是身份描述符。

最可能的核心贡献是这个信息流设计：RGB 不经过 embedding，appearance 不需要被压缩；embedding 只负责控制如何重排 appearance。这个设计比 autoencoder 更干净，因为 autoencoder 的 latent 需要同时承载 identity、texture、illumination 和 attributes；FAb-Net 则通过 source image 外置 appearance，把 latent 容量集中给变化因素。

multi-source 的作用更像 memory reuse / local retrieval。confidence map 会偏向选择姿态或局部表情更接近 target 的 source frame，这降低了单帧不可见区域和局部不匹配问题。它能改善表示，但增益来源不清：可能是更好的 attribute learning，也可能只是 reconstruction supervision 变得更容易、更低噪。

curriculum 的贡献我会更谨慎看待。它明显有助于训练，但更像剔除 difficult/noisy pairs 的 engineering。尤其最后永远不训练 top 10% hardest samples，实际上引入了 implicit sample selection；这可能提升 benchmark 表现，但也可能限制模型对极端姿态、遮挡、背景变化的鲁棒性。

这篇论文的结果也部分依赖 scaling / data coverage。VoxCeleb+ 提供大量身份、姿态和自然口型变化；在这种数据规模下，即使简单 proxy 也可能学到强 face prior。文中没有充分隔离 architecture、数据规模、curriculum、多 source 各自贡献，因而不能把全部增益归因于 FAb-Net 机制本身。

需要注意的是，这里没有真正证明 disentanglement。embedding 能线性预测 pose/expression/landmark，不代表它只编码这些属性；identity 可能仍残留，只是 evaluation 没有强力检测。所谓 identity-invariant 更多来自 retrieval qualitative 和任务表现，证据不够硬。

Relation To Prior Work

它最接近的谱系是 video-based self-supervised representation learning + frame synthesis / view synthesis。和未来帧预测、temporal order verification、odd-one-out 这类方法不同，它完全不关心时间方向，只关心同 track 内不同状态之间的可变换性。这个选择很重要：时间顺序不是 facial attribute 的本质监督，跨状态 correspondence 才是。

和 appearance flow / view synthesis 类方法相比，FAb-Net 的目标不是生成新视角图像，而是把 synthesis 当作 representation learning 的 pretext。view synthesis 通常已知或显式给定目标 pose；这里 target pose/expression 必须从 target image embedding 中抽取出来。

和 Thewlis、Jakab、Zhang 等无监督 landmark/structure discovery 方法相比，FAb-Net 不显式规定 landmark heatmap 或 keypoint bottleneck。它的表示更自由，因此能同时覆盖 pose、landmark、expression；代价是可解释性更弱，也不能保证几何结构干净。

和 supervised face embedding / 3DMM 方法相比，它不需要 attribute label 或 morphable model。3DMM 系方法有强形状先验，表示可解释但模式受限；FAb-Net 用视频数据中的自然变化替代模型先验，表示更 data-driven。

看似新的部分中，多 source attention/confidence 本质上是已有 attention / mixture-of-experts / memory selection 思想在 frame synthesis 中的重组；curriculum 也是 self-paced learning 的应用。实质创新主要在于把同 identity 视频帧重建的信息流组织成“appearance from source, attributes from embedding”的结构。

Dataset / Evaluation

训练使用 VoxCeleb1+2 组合的大规模 interview face videos。这个数据选择对论文很关键：它既有大量身份，又有自然头部运动、说话口型和表情变化，同时 face-track 内 identity 稳定。换句话说，数据本身高度匹配该 proxy task 的假设。

评估覆盖 landmark、head pose、expression 三类任务，并且用冻结 encoder + 线性层测试 embedding 是否线性可读。这比只看 reconstruction loss 更能支持“学到了 facial attributes”的 claim。跨数据集测试也提供了一定 domain shift 证据：训练在 VoxCeleb+，下游在 MAFL/300-W/AFLW/AffectNet/EmotioNet。

但 evaluation 仍有明显局限。第一，下游任务都是静态人脸属性，不验证时序一致性、遮挡鲁棒性或真实交互部署。第二，linear probe 能证明属性信息存在，但不能证明表示 disentangle，也不能证明 identity 被去除。第三，expression 数据集与 VoxCeleb 的分布差距较大，FAb-Net 接近但未达到监督方法；这说明 proxy 从访谈视频学到的表情覆盖有限。

和自监督 baselines 的比较有一定说服力，因为同样在 VoxCeleb+ 上训练了 rotation、SplitBrain、autoencoder 等。但这些 baselines 并非都为人脸几何优化，FAb-Net 在 inductive bias 上明显更贴合任务。因此结果证明的是“face-specific video warp pretext 比通用 image pretext 更适合 facial attributes”，而不是一般自监督表示的全面优势。

多 source 和 curriculum 的 ablation 显示有增益，但没有彻底回答增益归因。尤其 multi-source 同时改变了重建难度、监督噪声和可见区域覆盖，很难判断到底是 representation 更好还是 proxy task 更容易。

Limitation

最大限制是隐含前提很强：需要可靠 face-track，同一 track 内 identity/appearance 基本稳定，并且 attribute variation 足够丰富。若 identity 不固定、场景中多对象、背景大幅变化、光照强变化或 occlusion 频繁，proxy task 会把很多非 attribute 因素也压入 embedding，或者让 confidence mechanism 直接绕过难点。

第二，scalability 上限来自 warp assumption。通过 source pixel sampling 可以很好处理姿态、小范围非刚性表情和口型变化，但无法生成 source 中不存在的内容；大 yaw、严重遮挡、牙齿/舌头/眼睛状态不匹配时，多 source 能缓解但不能根治。它不是完整 generative model，而是受限的 appearance reuse。

第三，泛化是否真实存在需要谨慎。跨 benchmark 的表现不错，但这些任务都在人脸域内，且都受益于大规模人脸视频预训练。核心能力可能主要来自数据覆盖与 domain-specific inductive bias，而不是一种可普适迁移的视频表示学习原则。

第四，identity invariance 没有被强验证。论文说 glasses、identity 等不影响 retrieval，因为它们在 track 内不变、不需要用于 transformation；但这只是训练目标上的倾向，不是约束。embedding 中仍可能保留身份相关几何或外观线索，尤其共享 encoder 输入是完整 RGB face。

第五，curriculum 可能是隐式数据清洗。跳过 hardest 10% 样本意味着模型没有被迫处理最难的真实情况；benchmark 上的提升可能部分来自避免噪声样本，而不是模型能力提升。文中未充分说明这些 hardest samples 的组成，也未分析其对泛化边界的影响。

第六，所谓 multi-source attention 可能主要是 local retrieval。confidence heatmap 会选择最像 target 的 source 局部区域，这对重建有利，但也可能减少模型必须学习复杂变形的压力。它提升下游 embedding 的机制不完全清楚。

Takeaway

  • 1. 最值得迁移的 insight 是信息流拆分：把 appearance 留在输入图像中，把 latent bottleneck 专门用于控制 transformation。
  • 对于很多对象/人体/机器人视觉问题，这比让 latent 同时编码所有内容更容易得到有用 state representation。
  • 2. 自监督 pretext 的关键不是“无标签”，而是 proxy task 是否与目标因素同构。
  • FAb-Net 成功不是因为 frame reconstruction 本身，而是因为 source-to-target warp 的自由度刚好对应 facial geometry/expression。

一句话总结

FAb-Net 是一类典型的 domain-structured self-supervised representation 方法：它通过同身份视频帧之间的 warp-based reconstruction，把人脸 appearance 外置为 source memory，把 pose/expression/geometry 压入低维 embedding，从而在无标签条件下学到线性可用的 facial attribute 表示。