按资源类型、研究方向和主题标签浏览自监督学习论文与资料，可进入详情页查看 AlphaXiv、论文、代码、项目或视频资源。
针对对比学习中不同 InfoNCE 变体为何表现不同、且理论常依赖无限批量等理想假设的问题，论文证明多类损失在小批量和渐近期望下共享同一最优解，并将其统一到超球面能量最小化视角；据此提出解耦正样本对齐与均匀性的 DHEL，并分析 KCL 的批量无关性质。实验显示 DHEL/KCL 在小批量、温度变化和维度坍缩上更稳健，下游性能有所提升。
chnical University 4 Zhejiang University
论文指出机器人学习中观测空间可能与策略结构同样成为瓶颈，尤其2D RGB难以表达执行所需的3D几何。作者构建OBSBench，在ManiSkill2与RLBench的125个接触操作任务上统一比较RGB、RGB-D和点云。结果显示，点云即使用简单编码器也常优于RGB/RGB-D，预训练或从零训练均成立，并在视角、光照和外观变化下更稳健；同时坐标与颜色信息结合、采样策略会影响点云性能。
针对深度网络设计耗时且依赖标注数据的问题，本文将神经进化与对比式自监督学习结合，提出 EvoDeNSS 框架，用自监督预训练信号来进化适合图像分类的网络结构。在 CIFAR-10 上，进化得到的网络能在减少标注数据使用的情况下保持可用性能；结构分析还显示，相比纯监督进化，自监督个体的结构受标注量变化影响更小。
论文针对对比学习正样本视图仍存在大量外观重叠、模型可能依赖低级相似性而非语义的问题，提出 APS：一支采用稀疏 patch 采样降低空间冗余，另一支优先采样未出现 patch 以扩大外观差异，并用对比目标替代 MIM 的固定重建目标。实验显示其在 ImageNet-1K、CIFAR 及 COCO 检测/分割上优于既有自监督方法，CIFAR100 微调提升约 2.5%，且训练显存和计算更省。
针对对比学习、特征去相关与MAE类方法缺乏统一解释的问题，本文用矩阵信息论分析自监督学习的信息流，证明Barlow Twins和谱对比学习隐式优化矩阵互信息与联合熵，并将单分支MAE情形归约为熵正则，由此提出M-MAE。实验显示其在ImageNet上较强基线提升ViT-Base线性探测3.9%、ViT-Large微调1%。
本文针对对比学习中将不同图像一律视为负样本、忽略自然图像实例间相似性的偏差，提出面向 ViT 的 PatchMix：在 patch 序列层面混合一个 mini-batch 中的多张图像，并结合 mix-to-origin、mix-to-mix 与 origin-to-origin 对比来学习软化的实例关系。实验显示其在 ImageNet-1K、CIFAR 上提升线性/kNN 精度，并在 COCO 检测与实例分割迁移中取得更强表现。
针对监督视觉模型依赖标注、迁移后鲁棒性不足且 ImageNet 增益趋于平台的问题，本文系统梳理图像自监督学习从判别式到生成式的演进。核心洞察是将聚类、对比学习、蒸馏、信息最大化与掩码图像建模放在统一脉络下比较，并总结预训练任务、常用技巧、软件与实践经验。主要结果表明，近三年已涌现百余种通用框架，生成式 SSL 尤其是掩码建模已补充并在部分场景超越判别式方法。
3MIFA Lab, Qing Yuan Research Insti
这篇论文针对对比学习依赖“均匀性+对齐”而非对比方法多只体现均匀性的缺口，引入矩阵信息论，将最大熵编码解释为矩阵均匀性损失，并用 Matrix-SSL 显式加入协方差矩阵对齐。实验显示其在 ImageNet 线性评测、MS-COCO 迁移检测/分割上优于多种 SSL 基线，并将矩阵交叉熵用于 7B 语言模型微调，在 GSM8K 上较标准交叉熵提升 3.1%。
本文针对自监督学习虽效果相近但训练机制缺乏解释的问题，提出联合嵌入方法可能按“逐维、分阶段”学习表示。作者解析线性化 Barlow Twins，并推广到核机器/无限宽网络，证明其依次学习对比核的主特征方向，最终表示可闭式给出；在 ResNet 上用 Barlow Twins、SimCLR、VICReg 也观察到相同阶梯式增秩现象。
论文针对对比学习中“每个样本都不同”的实例判别假设带来的类碰撞和假负样本问题，提出 ASCL 将 one-hot 目标改为自适应软标签：用弱增强估计样本间相似分布并按熵调节其置信度，使训练早期接近 MoCo、表征成熟后逐步引入额外正样本关系。实验显示其可作为低额外开销插件，在多个图像表征基准上取得优于既有方法的性能与效率。
针对人体活动识别中传感器数据标注昂贵、监督模型泛化受限的问题，ColloSSL利用同一用户多设备同步采集的未标注惯性数据，将不同设备视角视为天然数据变换来构造对比监督信号，并提出设备选择、对比采样和多视角对比损失。三个多设备数据集实验显示，其在多数设置下优于全监督和半监督基线，F1最高绝对提升7.9%，低标注数据场景下也更具数据效率。
全文短总结尚未生成。
针对联邦场景中数据分散、非 IID 且缺少标注时自监督表征容易产生本地偏置、同时又不能共享特征的问题，FedX 在 FedAvg 上加入本地与全局双向知识蒸馏：用对比损失和关系向量蒸馏学习增强不变性，并用全局模型表征正则化本地模型。实验显示其可作为插件提升五种无监督算法，Top-1 准确率增益为 1.58–5.52 个百分点。
图自监督长期由对比学习主导，依赖图增强、负样本和复杂训练，而传统图自编码器又偏重结构重构、MSE 损失和弱解码器，难以服务分类表征。GraphMAE 的核心洞察是转向被掩蔽节点特征重构，采用 scaled cosine error、GNN 解码器与重掩蔽机制提升训练稳定性和表达力。在 21 个公开数据集、三类图学习任务上，它整体优于多种对比式和生成式基线，说明生成式预训练在图表示学习中仍有较大潜力。
该文针对第一视角长视频中大量片段无交互、现有音视自监督又偏向时间不变性而难以表征物体状态变化的问题，提出 RepLAI：先用音频谱图检测“交互时刻”来采样训练片段，再用音频可识别状态变化目标约束交互声音预测前后视觉表征差异，并结合音视对应学习。在 EPIC-Kitchens-100 和 Ego4D 上，该方法相较 AVID、XDC 及消融版本，在动作识别、长期动作预测和状态变化分类上均取得提升。
– Quebec AI Institute
针对自监督视觉预训练在少标注场景中要么重建低层细节、要么忽略局部结构的问题，MSN将掩码去噪与孪生联合嵌入结合：只让ViT处理未遮挡patch，并约束被遮挡视图的表征匹配原图表征，而非重建像素。结果在ImageNet低样本分类上表现突出，1%标签达75.7% top-1，5000张标注达72.4%，同时降低计算与显存开销。
n Science and Technology, Hokkaido University, Japan
针对 RT-PCR 耗时且可能漏检、疫情下胸片快速筛查需求上升的问题，论文提出将自知识蒸馏融入自监督胸片表征学习：在孪生/三网络框架中利用增强视图一致性，并按批内视觉特征相似度传播软目标，使相似胸片共享“暗知识”。在最大开放 COVID-19 胸片数据集上，方法优于多种自监督基线，报告 HM 0.988、AUC 0.999、准确率 0.957，但跨数据集偏差仍需验证。
本文针对家庭机器人目标导航依赖昂贵语义3D标注且难以迁移到真实住宅的问题，提出位置一致性 LocCon：机器人从同一地点多视角采集未标注图像，用对比学习微调视觉表征，并以自标注语义地图训练导航策略。实验显示该自监督管线可在仿真和真实 AirBnB 场景中取得有竞争力表现，且现场微调能减少感知误检；相比全监督3D网格训练，LocCon 对仿真伪影更不敏感、真实迁移更稳健。
本文针对场景中心无标注图像中多物体和复杂布局使图像级/像素级自监督难以建模对象关系的问题，提出 SlotCon：用可学习语义原型对像素特征做数据驱动分组，并将原型自适应为样本级 slots，再在不同视图的同语义 slot 间进行对比学习。实验表明，该方法能在无需手工 objectness 先验的情况下分解复杂场景，并提升 COCO 检测、实例分割及多数据集语义分割等下游任务表现。
本文针对现有自监督前置任务多为无监督表征设计、直接辅助监督学习时可能引入分布偏移甚至降性能的问题，提出辅助任务应具备丰富特征、保持训练分布和易适配三点，并设计局部可定位旋转 LoRot：只旋转图像小区域，让模型在定位补丁的同时学习更多细粒度线索。实验显示，LoRot 在 OOD 检测、长尾分类、对抗鲁棒、分类、定位和迁移等任务上提升了监督模型的鲁棒性与泛化能力。
n Science and Technology, Hokkaido University, Japan
针对 SimCLR、SimSiam、BYOL 等孪生网络自监督方法在小 batch 下互信息不足、表征不够变换不变且计算资源需求高的问题，TriBYOL 将 BYOL 扩展为三分支网络，对同一图像生成三种增强视图，并用在线分支与两个 EMA 目标分支的 triple-view loss 对齐表征。实验在多数据集的小 batch 线性评估、微调和迁移任务中优于同期方法，但大 batch 与真实高分辨率场景仍未充分验证。
论文针对视觉强化学习多依赖2D表征、难以处理机器人操作中的遮挡和几何理解问题，提出先在CO3D上用体素式3D自编码器做自监督新视角合成预训练，再随RL用域内数据联合微调的框架。实验显示其在9个仿真任务中较2D表征更省样本，并能从单个未标定RGB相机零样本迁移到真实机械臂，在reach、push、peg in box和lift任务及视觉扰动下更稳健。
& Informatics Laboratories, NTT Research, Inc., Sunnyvale, CA, USA, nce, Harvard University, Cambridge, USA, ries, NTT Research, Inc
针对自监督学习中表征完全坍塌与维度坍塌何时出现、为何出现仍缺乏统一解释的问题，本文以线性模型解析求解 InfoNCE、NT-Xent、谱对比损失、Barlow Twins/VICReg 等损失景观，指出原点附近局部几何由数据方差与数据增强协方差的竞争塑造。主要结果表明，增强过强会使特定特征方向坍塌，归一化、偏置和权重衰减会改变坍塌条件；适度维度坍塌有时有利于泛化，并可解释不同 SSL 损失对数据不均衡鲁棒性的差异。
本文针对视频自监督学习长期依赖 Kinetics-400 预训练、UCF/HMDB 微调的评测惯例，系统考察其基准敏感性。作者从下游域、样本量、动作相似度和任务四个维度，完成 9 种方法、7 个数据集、6 类任务的 500 余次实验，并提出 SEVERE-benchmark。结果显示，常规指标难以预测真实泛化；在大域偏移和少样本场景下，自监督方法明显落后于普通监督预训练。
针对自监督视觉表征中相似性学习易坍塌、常需负样本或停止梯度等技巧的问题，Barlow Twins用同构双网络的跨相关矩阵逼近单位阵，把增强视图不变性与特征维度去冗余合在一个损失中，无需大批量和结构不对称。实验显示其ImageNet线性评估达73.2% top-1，1%标签半监督达55.0%，迁移分类、检测和分割任务总体接近或优于同期方法。
针对以往音频自监督方法依赖相邻/远距离片段关系、在重复音乐或短瞬态事件中可能产生错误监督的问题，论文将 BYOL 改造为 BYOL-A，仅从同一音频片段的两种增强视图学习表示；其关键在于预/后归一化、mixup 模拟背景变化以及随机 resize-crop 近似音高和时间扰动。实验显示该方法在多种下游任务上超过既有 SOTA，消融表明 mixup 与 RRC 互补贡献主要性能增益。
本文关注为何对比式自监督表征能迁移到少量标注的下游任务。核心洞察是将 SimCLR/InfoNCE、NT-Logistic、谱对比损失统一解释为在学习“正样本对核”，并证明对该核做 Kernel PCA 等价于求正样本 Markov 链特征函数；在正样本标签近似不变假设下，该表征对线性预测达到最坏情形近似误差的 minimax 最优，并给出泛化界。合成实验显示可近似恢复这些特征函数，但效果依赖核参数化与增强强度。
全文短总结尚未生成。
针对3D点云语义分割逐点标注成本高、半监督方法在点云中不足的问题，本文将未标注点云引入训练，提出带伪标签与置信度引导的点级对比损失，避免同类点被当作负样本，并用类别均衡采样缓解长尾类别。ScanNet V2、S3DIS和SemanticKITTI实验显示，在5%到40%标注比例下均明显优于纯监督基线，100%标注时也可作为辅助表征学习带来提升。
HuBERT针对语音自监督预训练中连续信号无离散词表、音素边界未知且一句话含多种声音单元的问题，用离线 k-means 聚类产生帧级“隐藏单元”，只在被遮蔽片段上做 BERT 式预测；关键洞察是目标的一致性比标签本身正确性更重要。两轮聚类后在 Librispeech 960h 与 Libri-light 60k 上匹配或超过 wav2vec 2.0，1B 模型在困难集最高带来 19%/13% 相对 WER 降低，部分收益可能来自 scaling 和数据规模。
nic University
本文针对对比学习中正负样本构造依赖人工数据增强、可解释性不足的问题，先可视化训练过程中的正/负对相似度分布，并据此发现较难正样本有利于学习视角不变表征。方法在特征层对正样本外推、对负样本插值，以同时制造 hard positives 和多样负样本；在 MoCo/MoCoV2 上，ImageNet-100 至少提升 6.0%，ImageNet-1K 约提升 2.0%，并在检测、分割等下游任务上显示较低任务偏置。
针对无监督图像聚类中伪标签错误会累积并导致模型过度自信的问题，本文提出 RUC，将已有聚类模型输出视为含噪伪标签，通过置信度/近邻度量筛选干净样本，再结合 MixMatch、标签平滑与双网络协同训练进行鲁棒重训练。作为可插拔模块，RUC 在 CIFAR-10/20、STL-10、ImageNet-50 上提升多种基线，最高报告 90.3%、54.3%、86.7%、78.5% 准确率，并改善校准与对抗噪声鲁棒性。
针对对比学习需同时前向原图与增强视图、训练成本较高的问题，本文提出 Jigsaw Clustering：将同一 batch 图像切块、跨图打乱并拼接，只用单 batch 训练，通过聚类分支判断补丁所属图像、位置分支预测原位置，从而同时利用图内与图间信息。实验显示其 ImageNet 线性评估较以往单 batch 方法高 2.6%，迁移到 COCO 以半数训练 batch 略优 MoCo v2 0.4%，在 CIFAR 上也超过监督预训练。
这篇论文关注自监督 ASR 中常被忽略的域偏移：预训练无标注语音、微调有标注数据与测试域可能彼此不同。作者用 wav2vec 2.0 在多种英语语音域上系统拆分预训练/微调/测试组合，核心洞察是目标域无标注数据在预训练阶段始终有帮助，即使微调标签来自域外；多域预训练还提升未见域泛化。大规模实验中，加入域内无标注预训练可将域内与域外标注训练的性能差距缩小 66%-73%。
针对无标注场景下 BERT 句向量高度依赖层选择与池化策略、[CLS] 直接使用效果差的问题，论文提出自引导对比学习：把 BERT 中间层表示回收为正样本，并改造 NT-Xent，使最终 [CLS] 更接近有用句级语义而无需数据增强。实验显示其在多类句子任务上优于 BERT-flow、BERT-whitening 等基线，推理无需后处理，且对领域迁移更稳健。
ience and Technology Institute
本文针对监督学习依赖昂贵标注、泛化与鲁棒性受限的问题，综述自监督表征学习如何从数据自身构造监督信号。核心洞察是按训练目标将方法统一为生成式、对比式和生成-对比式（对抗式），并比较其架构、损失与适用场景。主要结果不是提出新模型增益，而是系统梳理CV、NLP和图学习中的代表方法、相关理论解释及开放问题。
面向自动驾驶/机器人在遮挡环境中只能获得不完整 LiDAR 点云的问题，论文提出 PointPnCNet：通过随机移除局部点云做自监督 inpainting，并用区域感知损失只约束原本可见区域，同时结合局部/全局编码解码学习形状先验。该方法无需完整真值点云，在 ShapeNet 和真实 SemanticKITTI 上优于已有无监督、弱监督补全方法，并对视角对齐误差更稳健。
针对时间序列标注成本高且图像对比学习难以处理时序依赖的问题，论文提出 TS-TCC：用强/弱增强构造相关视图，通过跨视图未来预测学习鲁棒时序特征，再在上下文层面对同一样本拉近、不同样本拉远以增强判别性。三个真实数据集上，冻结表征训练线性分类器可接近全监督效果，并在少标注与迁移学习场景中保持较高效率。
本文针对对比自监督学习虽在下游任务有效但泛化理论不足的问题，提出用(σ,δ)度量刻画数据增强的集中性，并给出下游分类误差上界。核心洞察是泛化由正样本对齐、类中心分离和增强数据集中性共同决定，其中前两者可由InfoNCE与cross-correlation损失理论保证，第三者来自增强设计。实验显示增强集中性与下游性能强相关，解释了更丰富增强为何产生更清晰的类簇结构。
本文针对无监督对比学习中损失函数机制不清的问题，从梯度角度分析温度参数τ的作用，指出 softmax 对比损失本质上是“困难负样本感知”的，τ控制对困难负样本的惩罚强度。论文进一步揭示均匀性与语义相似样本容忍性之间的矛盾：过小温度虽提升嵌入均匀性，却可能破坏语义结构；合适温度可在可分性与容忍性间折中，并在实验中改善表征质量和下游性能。
针对真实时间序列标签稀缺且非平稳、状态随时间渐变的问题，论文提出 TNC：用局部平滑性和 ADF 平稳性检验自适应定义时间邻域，并以去偏对比目标区分邻域内外窗口，缓解远处样本可能同状态的负样本偏差。在模拟、ECG 与 HAR 数据上，TNC 的表征在聚类和下游分类中优于 CPC、Triplet Loss 等基线，部分分类结果接近监督方法。
△Facebook AI, □Google AI
针对传统语音识别依赖转写数据、难以覆盖大量低资源语言的问题，论文提出 wav2vec-U：用 wav2vec 2.0 自监督表示对无标注语音聚类分段，再通过对抗训练把片段映射到音素序列，并结合无监督验证选择模型。结果在 TIMIT 将无监督 PER 从 26.1 降至 11.3，在 LibriSpeech test-other 达到 5.9 WER，并扩展到多种低资源语言。
École normale supérieure, CNRS, PSL Research University, ce, New York University, érieure, CNRS, PSL Research University
针对联合嵌入式自监督学习易坍缩、且常依赖负样本、归一化、动量编码器或 stop-gradient 等技巧的问题，VICReg 将目标拆成不变性、方差保持和协方差去相关三项，显式保证每个分支的信息量。实验显示其在 ImageNet 线性/半监督、迁移检测分割及 COCO 图文检索上达到或接近同期最优，并能提升其他方法训练稳定性。
面向在线评论中无标注方面检测，论文针对 ABAE 等深度主题模型易产生噪声方面、且模型方面难以映射到目标方面的问题，将任务改写为自监督对比表示学习；结合平滑自注意力 SSA、HRSMap 高分辨率选择映射，并用知识蒸馏增强检测。七个公开评论数据集上优于多种无监督和弱监督方法，消融与可视化支持 SSA、蒸馏和映射策略的作用。
针对无人工标注下学习通用视觉表征的问题，SimCLR 将对比学习简化为“强数据增强生成正样本对、ResNet 编码、非线性投影头、NT-Xent 损失”的框架，不依赖专用结构或 memory bank。论文的关键洞察是增强组合、投影头、归一化温度损失以及大 batch/长训练显著影响效果；但部分增益可能主要来自 scaling / data。其在 ImageNet 线性评估达 76.5% top-1，1% 标签微调达 85.8% top-5，刷新当时自监督和半监督结果。
面对大规模标注成本和监督学习泛化、伪相关等问题，本文系统梳理对比式自监督学习：以增强视图为正样本、批内或数据集中其他样本为负样本，通过颜色、几何、上下文和跨模态等预文本任务学习可迁移表征，并比较 SimCLR、MoCo、SwAV 等架构。主要结果显示，近年方法在 ImageNet 分类上已接近监督基线，并可迁移到检测、动作识别等下游任务，但局限与增益来源仍需进一步分析。
针对多变量时间序列标注昂贵、深度模型在小样本基准上不稳定的问题，论文将 Transformer 编码器引入无监督表征学习，用去噪式预训练先学习序列表示，再迁移到分类、回归等任务。实验显示，该框架在多个公开多变量时间序列数据集上超过当时监督与无监督方法，小样本下也有明显优势，且模型规模较小、训练成本可控。
针对自监督视觉表征中模型容易利用水印、色差等低层“捷径”而非语义特征的问题，论文提出用轻量图像到图像的 adversarial “lens”网络，在尽量保持图像相似的同时削弱前置任务性能，从而自动暴露并移除捷径。实验覆盖多种前置任务、ImageNet/YouTube-8M及ImageNet/Places205评测，使用处理后图像训练的表征均优于基线，并可替代手工预处理。
本文面向少量标注下如何充分利用大量无标注图像的问题，系统验证“自监督预训练—少样本微调”在 ImageNet 半监督学习中的有效性。核心洞察是标签越少，大而深宽的 SimCLRv2/ResNet 预训练模型收益越大；再用无标注数据做任务相关蒸馏，可把性能迁移到小模型。结果上，ResNet-50 仅用 1%/10% 标签达到 73.9%/77.5% top-1，显著提升标签效率。
针对对比式自监督学习依赖大量负样本、批量大小和增强策略敏感的问题，BYOL提出用在线网络预测目标网络在另一增强视图下的表示，并以在线参数的慢速滑动平均更新目标网络；其关键洞察是预测头与动量目标可在无负样本下避免表示坍塌。实验中，ResNet-50在ImageNet线性评估达74.3% top-1，更大模型达79.6%，在迁移和半监督任务上与或优于同期方法。
论文围绕视频对比自监督学习中“时间信息如何有效利用”展开，指出简单把倒放、打乱、变速等时间变换当作数据增强往往无益甚至伤害表示。作者提出 TaCo，将时间变换同时作为增强和需预测的自监督任务，并用任务头与对比损失联合训练，使模型显式感知时序关系。该框架在 InstDisc、MoCo及多种骨干上稳定提升，下游分类最好达到 UCF-101 85.1%、HMDB-51 51.6%，较先前方法约提升 3% 和 2.4%。
(Microsoft)
本文试图解释为何多视图对比学习能在少标签下产生可线性迁移的表示。核心洞察是：若两个视图对下游标签含有冗余信息，可先由一个视图推断另一个视图，再预测标签；对比学习学到的密度比/PMI正好支持这一过程。论文证明了地标嵌入和双变量优化得到的低维表示上，线性模型可接近贝叶斯最优预测，并给出维度与误差界。
医学图像分割常受标注体数据稀缺限制，普通对比学习又偏重整图表征，难以服务像素级预测。本文利用配准后不同MRI体中对应切片/分区的解剖相似性设计全局正负样本，并在解码器特征上加入局部对比损失以区分局部区域。三组MRI实验显示，全球+局部策略优于无预训练、预文本任务、常规全局对比和半监督方法；结合简单增强时，仅用2个标注体即可接近全量基准8%以内。
针对图数据标注成本高、现有对比式自监督方法常依赖专用编码器的问题，本文将多视图对比学习引入图结构表征，通过最大化一阶邻域视图与图扩散视图编码间互信息，同时发现超过两种视图、多尺度对比、复杂池化和常规正则化并不带来收益。在线性评估下，该方法在8个节点/图分类基准上刷新自监督结果，并在4个基准上达到或超过强监督GNN基线。
blin City University, Dublin 9, Ireland
针对对比学习概念分散、常被狭义等同于自监督视觉方法的问题，本文从表征学习需求出发，提出统一的对比表征学习框架，将相似性定义、编码器、投影头与损失等组件系统分类，并梳理其从度量学习到视觉、语言、音频、多模态和强化学习的演化。主要结果是提供一套分析不同方法创新与取舍的综述工具，而非新的实证性能提升；具体增益来源文中未充分说明。
针对视频自监督学习多只利用帧/片段时序对应、未充分建模视频与帧的从属关系，论文提出 Cycle-Contrastive Learning：在同一 R3D 网络中同时抽取帧级和视频级表示，通过视频→帧→视频的循环一致性与域内对比约束，使同一视频及其帧更接近、与其他样本分离。实验显示该表示迁移到 UCF101、HMDB51、MMAct 的近邻检索和动作识别时优于多种既有自监督方法。
on, Chinese Academy of Sciences, ficial Intelligence, University of Chinese Academy of Sciences
论文针对图表示学习中标签稀缺、传统随机游走/矩阵重构过度依赖结构邻近，以及 DGI 局部-全局互信息目标受读出函数限制的问题，提出 GRACE：通过删边与特征掩码生成两种图视图，在节点级对比同一节点跨视图表示而非依赖全图摘要。实验覆盖传导与归纳节点分类，在多种真实图数据上显著优于无监督基线，且传导任务中可超过监督 GNN。
本文针对对比自监督为何在识别任务上突然有效这一增益来源不清的问题，系统分析表征中的不变性与数据偏置。作者指出 MoCo、PIRL 等主要学到遮挡不变性，但视角与类别实例不变性仍不足，且效果很大程度依赖 ImageNet 的物体中心偏置；进一步利用无结构视频中的自然变换构造正样本，在相同数据上较 MoCo-v2 获得更强不变性，并提升分类与语义分割表现。
针对说话人识别依赖昂贵身份标注、且野外语音中身份与说话内容容易纠缠的问题，本文利用视频中人脸与语音的天然同步作为自监督信号，设计共享底层特征的双流网络，并显式分离语言内容与说话人身份表征。在 VoxCeleb2 无标签训练、VoxCeleb1 评测中，联合内容/身份目标和解耦损失持续降低 EER；少量标注微调时甚至优于全监督基线。
ng at Imperial College London
针对语音情感识别等任务标注稀缺、纯音频自监督难以利用跨模态线索的问题，论文用“由语音驱动人脸重建”的视觉自监督来预训练音频编码器，并提出基于时间顺序验证的音频自监督 Odd One Out，再以多任务方式联合两者。实验显示，联合视听自监督在离散情感、连续情感和语音识别上普遍优于单模态自监督、MFCC/PASE/APC等基线，并在小数据与噪声条件下更稳健。
men University
这篇论文针对自监督视频表征中“场景捷径”问题：动作类别常与背景强绑定，模型可能学到球场、健身房等静态线索而忽略运动。作者提出 DSM，将学习表述为度量学习，通过空间局部扰动破坏场景但保留运动构造正样本、时间局部扰动破坏运动但保留场景构造负样本，从而弱化场景偏置、增强时间敏感性。在多骨干和预训练设置下，UCF101 与 HMDB51 动作识别较同骨干 SOTA 分别提升 8.1% 和 8.8%，检索和检测也有改善。
针对孪生自监督方法通常依赖负样本、大 batch、聚类或动量编码器来避免表征坍塌的问题，论文提出极简 SimSiam：仅用共享编码器、预测头和 stop-gradient 对两种增强视图做相似性学习。核心洞察是坍塌解确实存在，但 stop-gradient 是防坍塌关键，可能对应隐式交替优化。实验显示其在 ImageNet 线性评估及下游任务上具竞争力，且对 batch size 不敏感。
针对过参数端到端模型可记忆训练集、训练精度难以说明泛化的问题，本文研究“自监督表征+冻结后简单分类器”的SSS流程。核心洞察是将泛化差距分解为鲁棒性、理性与记忆三项，并证明记忆项只受下游简单分类器复杂度控制，与表征模型复杂度无关，量级为O(√C/n)。在CIFAR-10和ImageNet上，SimCLR、AMDIM、BigBiGAN等的RRM界通常非空且接近实际差距，SSS的泛化差距也显著小于全监督对应模型。
(Cardiology) and Computer Science, Yale University
为理解单细胞层面的 SARS-CoV-2 感染差异与 COVID-19 重症机制，论文将细胞转录组构图并用于疾病状态预测。核心做法是在 GAT 上加入自监督生成的边特征，并用 Set Transformer 融合边信息，同时通过平衡样本来源邻居缓解批次偏差。模型在肺类器官感染数据和患者 BALF 单细胞数据上达到当时最佳表现，并借助注意力与 GNNExplainer 提取与感染、重症相关的基因和细胞类型线索。
针对传统图表示学习通常绑定单一数据集、难以迁移到域外图的问题，GCC提出以“跨图的局部子图实例判别”作为自监督预训练任务：从多跳 ego-network 采样并匿名化子图，用GIN编码结构特征，并通过对比学习逼迫模型捕获跨网络共享的拓扑模式。实验在3类任务、10个数据集上显示，跨多图预训练后的GCC在未见图上可达到或超过从零训练的任务专用方法，说明图预训练/微调范式具备可行性。
针对大规模图任务中标注昂贵、监督式 GNN 难以迁移的问题，GPT-GNN 将预训练表述为属性图生成：联合重建节点属性与边结构，并用子图采样和自适应表示队列适配亿级图。该方法在 OAG 与 Amazon 数据上的节点分类、链路预测等任务中，相比未预训练 GNN 最高提升约 9.1%。
针对视频自监督对比学习常把时空信息作为单一目标、易记忆时空组合而缺少泛化表征的问题，本文提出 HDC：通过不同增强策略将目标解耦为空间对比与时间对比，并在多层级上联合优化，同时用层间不变性差异重加权损失。UCF101、HMDB51 动作识别实验显示，该方法明显优于直接整体学习时空特征，并达到与当时无监督方法竞争的性能。
本文关注自监督预训练在真实使用中究竟能节省多少标注，而不只看少样本或线性评测。作者构建可控合成数据和多类下游任务，用“达到同等精度所需额外标签比例”定义效用。结果显示，自监督主要在低标注预算下有帮助，标签增多后收益常在任务性能饱和前趋近于零；方法排名随任务变化，线性评测与微调效用相关性不足。
针对自监督视觉表征方法众多但缺少统一迁移评测的问题，本文在40个下游任务上比较13种ImageNet预训练模型与监督基线。核心洞察是ImageNet Top-1只强相关于相近的多样本识别，对少样本、检测和密集预测的预测力明显下降。结果显示最佳自监督模型在多数任务超过监督预训练，但没有单一方法通吃，通用预训练仍未解决，且自监督特征可能牺牲颜色信息但校准更好。
♣DeepMind, London, UK, ♠Department of Computer Science, University of Oxford, Oxford, UK
本文针对既有自监督语音表征多在干净英文朗读集上验证、难以说明跨域和跨语言鲁棒性的问题，使用多达8000小时多样且含噪语音训练扩展的双向CPC表征，并将其冻结后用于ASR。实验显示，相比log filterbank特征和仅在LibriSpeech预训练的特征，该表征在跨数据集迁移中更稳健，并在25种语音差异较大的语言、含低资源和声调语言上提升识别表现；增益可能主要来自更大规模和更多样的数据。
全文短总结尚未生成。
hns Hopkins University, USA 7CIFAR Fellow
针对无标注语音难以学到对噪声、混响稳健表示的问题，论文提出 PASE+：在自监督预训练中在线加入混响、噪声、时频遮挡等扰动，用卷积编码器结合 QRNN 建模长短期动态，并通过多种 worker 预测由干净语音派生的目标，促使表示具备去噪和失真不变性。在 TIMIT、DIRHA、CHiME-5 上，PASE+ 相比原 PASE 和 MFCC/FBANK 等传统特征显著提升，且在未见真实噪声场景中表现出较好迁移性。
rtificial Intelligence Laboratory
针对CPC/APC/MLM等自监督语音表征依赖自回归或全局上下文、推理难以并行且延迟随序列变长的问题，论文提出NPC：只利用固定感受野内的局部依赖预测被遮蔽的当前帧，并用Masked ConvBlock阻断目标邻域信息泄漏，配合VQ瓶颈学习表征。实验显示其在音素和说话人分类上接近既有方法，同时推理可按时间并行、单步耗时与输入长度无关，更适合低延迟ASR场景。
本文针对对比学习偏重扰动不变性、像素重建又易陷入低层细节的问题，提出 OBoW：用教师—学生框架从扰动图像重建整图的视觉词袋分布，并在线更新教师、学生和视觉词表，同时结合动态 BoW 预测、多尺度目标与强裁剪以强化上下文推理。实验显示其在 Pascal 检测/分类、Places205 等下游任务超过此前无监督方法，部分结果也优于监督预训练。
这篇论文试图解释自监督中“预测已知输入”为何能帮助下游任务，核心洞察是当前置任务的两部分在给定标签及潜变量后近似条件独立时，重建式预测会被迫编码标签相关信息。作者用偏协方差刻画 ACI，并证明所得表征可通过线性层获得小近似误差、显著降低标注样本复杂度；还将分析扩展到类似 SimSiam 的非线性 CCA，并用主题模型、仿真和图像实验验证风险界趋势。
’an Jiaotong University
本文针对现有自监督视觉表征多依赖图像级实例判别、对检测和分割等密集预测空间敏感性不足的问题，提出在像素级设计预训练任务。除像素级对比学习 PixContrast 外，核心是 PixPro 的像素到传播一致性：让同一像素在普通特征与由相似像素传播平滑后的特征之间保持一致，并避免负样本处理。ResNet-50 迁移到 Pascal VOC、COCO 检测和 Cityscapes 分割分别达到 60.2 AP、41.4/40.5 mAP、77.2 mIoU，优于此前实例级方法。
针对长尾类别不均衡中标签既提供监督又引入多数类偏置的矛盾，本文重新分析“标签价值”，提出两条策略：利用额外无标签数据做伪标签半监督以缓解决策边界偏移，以及先进行自监督预训练以减少早期标签偏置。理论高斯模型和多组大规模不均衡图像实验均显示，两者在不同不均衡设置下稳定优于常规基线并达到当时领先结果。
针对无监督视频表征中“播放速度标签”与真实运动内容不一致、且模型易偏向运动而忽视外观的问题，RSPNet用同一视频片段间的相对播放速度作为更稳定的自监督信号，并结合带速度增强的视频实例判别任务学习外观特征。两任务联合后在动作识别和视频检索上有效，UCF101无标注预训练达到93.7%准确率，超过ImageNet监督预训练基线。
本文针对无标签场景下图像能否按语义自动分类的问题，指出端到端聚类易依赖初始化和颜色、纹理等低层线索。SCAN 将自监督表征学习与聚类解耦，先用预任务获得语义特征并挖掘近邻，再通过近邻一致性和熵约束学习聚类，避免简单 K-means 的退化。实验在 CIFAR10、CIFAR100-20、STL10 上分别较先前方法提升 26.6%、25.0%、21.3%，并在 ImageNet 上给出有竞争力结果。
该文针对无标注图像预训练中“边聚类边学表征”易塌缩、缺少统一目标的问题，将伪标签分配约束为等大小划分，并把交叉熵自标注转化为最优传输，用快速 Sinkhorn 近似求解。相比 DeepCluster，其目标更明确且可扩展到百万图像；在 SVHN、CIFAR、ImageNet 及 Pascal VOC 迁移上刷新当时自监督表征结果，AlexNet 检测甚至超过监督预训练基线。
本文针对视频自监督对比学习只做实例区分、会忽略同类“难正样本”并把它们当负样本的问题，先用带语义标签的 UberNCE 证明加入类内正样本可显著提升表征，再提出 CoCLR：让 RGB 与光流两个互补视图相互挖掘跨视频正样本，改进 InfoNCE 的采样而非设计新损失。在 UCF101、HMDB51 的动作识别和视频检索上，CoCLR 明显优于实例级 InfoNCE，接近 oracle，并以更少预训练数据达到同类自监督方法的相当或更优结果。
针对跨域目标识别中训练域与测试域风格差异导致泛化不足的问题，论文提出将监督分类与自监督任务联合训练，而非先预训练再微调；通过拼图重排和旋转预测迫使共享骨干学习形状、空间方向与部件关系，并作为正则化。实验显示该多任务框架在PACS、VLCS等域泛化/适应、预测和部分域适应场景中稳定优于DeepAll，并能接近或超过更复杂方法。
本文针对大规模推荐中长尾物品反馈稀疏、监督信号不足的问题，在双塔召回模型上引入多任务自监督框架：通过基于特征相关性的掩码增强生成同一物品的视图，并用对比损失辅助学习物品表示。实验在5亿和10亿样本真实数据上优于特征 dropout 与 spread-out 正则，并已上线商业 app-to-app 推荐系统，A/B 显示关键业务指标提升，且低监督切片收益更明显。
全文短总结尚未生成。
e University
本文针对 GNN 虽能聚合未标注节点却利用不足的问题，系统考察图自监督在节点分类中的作用。作者从结构与属性信息构造多类基础预文本任务，分析何时、为何以及如何与监督损失结合更有效，并据此提出 SelfTask，用任务相关的自监督信号设计更强预文本任务。实验显示其在多个真实图数据集上达到当时 SOTA，但具体收益对不同预文本设计和数据特性的依赖仍需结合实验细节判断。
École Polytechnique Fédérale de Lausanne (EPFL), Switzerland
针对少样本分类预训练依赖大量标注、无监督元学习性能下降且跨域时迁移学习更稳的问题，论文提出 ProtoTransfer：将每张无标注图像作为原型，用增强视图做自监督原型式对比预训练，再用支持集类原型初始化线性层并微调。实验显示其在 mini-ImageNet 上比无监督元学习方法高约 4%–8%，跨域 CDFSL 上接近监督方法且少用大量标签；增益很大程度来自大 batch 和参数化微调。
论文针对自监督视觉表征依赖人工标签少、但预文本任务需产生有效监督信号的问题，提出把关系推理改写为无标签预训练目标：通过同一图像不同增强的 intra-reasoning 与不同图像间的 inter-reasoning 训练关系头，预训练后丢弃关系头并使用骨干表征。作者还将目标解释为伯努利对数似然、近似互信息最大化。实验在 CIFAR、STL-10、tiny-ImageNet 等统一协议下，相比强基线平均提升约 14%，较 SimCLR 等近期方法约提升 3%。
针对视频标注昂贵而无标注数据丰富的问题，论文提出用“播放节奏预测”作为自监督预训练信号：通过不同时间采样率生成慢、正常、快等片段，迫使3D CNN理解内容与时序运动，而无需预计算光流，并结合对比学习增强区分性。在动作识别和视频检索、多种骨干网络与数据集上，方法取得当时自监督视频表征的领先结果。
针对视频标注成本高、监督表征迁移性不足，以及逐像素预测类自监督任务易学到冗余细节的问题，本文将无标注视频转化为粗粒度时空统计预测：用多种空间划分编码最大运动区域及方向、外观变化/稳定区域及主颜色，并加入课程学习。该预训练在 C3D、3D-ResNet、R(2+1)D、S3D-G 上验证，在动作识别、视频检索、动态场景识别和动作相似性标注中均优于对比方法。
针对视频标注成本高、普通对比学习可能依赖静态外观而未充分学习时序运动的问题，论文提出 Inter-Intra Contrastive 框架：将同一视频不同模态视为正样本，同时通过打乱时序或重复帧构造“类内负样本”，迫使时空 CNN 区分被破坏的时间关系。该方法在 UCF101、HMDB51 的视频检索 top-1 上分别较当时方法提升 16.7 和 9.5 个百分点，视频识别也有增益。
论文针对视频自监督表征中预文本任务与对比学习因训练设置不一致而难以公平比较的问题，提出 PCL 联合优化框架：不设计新任务，而是系统组合预文本任务、对比损失、残差片段和强数据增强。实验在三类预文本基线与不同骨干上验证其通用性，相比原基线带来大幅提升，并在两个基准的识别和检索评测中达到或超过同期方法，且预训练数据量更小。
针对视觉深度模型依赖大规模人工标注预训练、图像和视频标注成本高的问题，本文系统梳理自监督视觉特征学习：用自动生成伪标签的前置任务训练 ConvNet，再迁移到下游任务评估。核心洞察是前置任务需迫使模型捕获可迁移视觉结构；综述比较表明，图像自监督特征在检测和分割上已接近 ImageNet 监督预训练，差距可小于 3%，但视频特征学习与 Kinetics 监督预训练仍有明显差距。
本文针对自监督表征学习中增强策略常依赖有标签验证集选择的问题，提出用线性图像旋转预测作为无标签评估信号，并据此构建 SelfAugment 自动搜索增强策略。核心洞察是旋转评估与多种监督下游指标高度相关，排序相关性超过 0.94；在 CIFAR、SVHN、ImageNet 等数据和多架构实验中，所选策略可接近或优于监督搜索策略，同时显著减少计算开销。
针对视频自监督表征中时序对应关系未知、贪心跟踪易陷入局部最优的问题，论文将帧间 patch 构成时空图，把特征相似度解释为随机游走转移概率，并用回文序列的循环一致性提供无标注路径级监督；边 dropout 与测试时自适应进一步强化物体级对应。实验表明，该表征在 DAVIS 物体分割、JHMDB 姿态传播和 VIP 部件传播上优于当时自监督方法。
针对视频自监督长期偏重时间线索、空间监督利用不足的问题，本文提出 CVRL，用同一视频的增强片段做对比学习，并指出视频增强需同时保留空间强扰动与时间一致性：帧间共享随机空间增强，正样本时间间隔按递减分布采样以避免强迫远距离片段不变。在 Kinetics-600 线性评估中，R3D-50 达 70.4% top-1，较 ImageNet/SimCLR 预训练显著提升，增大模型后达 72.9%，下游分类和检测也优于多项基线。
ip of National Taiwan University and in part by ASUS, ering, College of Electrical Engineering and Com
针对语音识别等任务依赖大量标注、现有自监督语音预训练多只使用单一预测目标的问题，TERA用Transformer Encoder从被扰动的声学特征中重建原帧，并在时间、频率和幅值三条轴上随机扰动，促使模型分别学习语音内容、说话人信息和输入鲁棒性。实验覆盖音素分类、关键词检出、说话人识别和ASR，整体优于表面特征和多种既有自监督表示；文中还指出小模型更适合特征抽取，大模型更适合微调。
本文针对对比学习为何有效这一理论缺口，跳出单纯互信息解释，指出单位超球面表征质量可由正样本特征接近的 alignment 与整体分布均匀的 uniformity 刻画。作者证明无限负样本极限下常用对比损失等价于优化这两者，并给出可直接优化的度量；在视觉和语言任务中，两项指标与下游性能高度一致，直接优化也能达到或超过对比学习效果。
针对对比式自监督在深层非线性网络中为何能从无标签数据学到语义特征这一理论缺口，论文把 SimCLR 等双网络训练与师生框架类比，证明每层 SGD 更新可由与数据增强相关的半正定协方差算子解释：它放大跨样本变化、但对增强不变的随机选择性。在分层潜变量树生成模型下，深 ReLU 隐层可无监督地恢复潜变量并形成层级特征，数值实验支持该机制。
针对对比学习需要大量样本两两比较、显存与批量规模要求高的问题，论文提出 SwAV：不直接拉近/推远特征，而是在线学习原型聚类，并让同一图像不同增强视图互相预测聚类分配；同时用 multi-crop 增加多尺度视图而基本不增加开销。结果在 ResNet-50 的 ImageNet 线性评测达到 75.3% top-1，并在多项迁移任务上超过监督预训练。
针对低资源语言 ASR 缺少大量转写语音、传统跨语种预训练依赖监督数据的问题，本文考察无监督 CPC 语音预训练能否跨语言迁移，并通过替换批归一化、改进预测头等小改动稳定训练、提升音素表征。实验将英文 LibriSpeech 上预训练的特征迁移到 Common Voice 多个低资源语言，结果显示其优于目标语言从零训练；在相同语料下与监督预训练差距较小，扩大无标注数据后还可在部分语言超过监督特征，增益可能主要来自 scaling / data。
针对对比学习多依赖同一实例不同增强、较少利用实例间语义结构的问题，本文提出 Invariance Propagation：在表示空间构建小 k 的近邻图，递归传播局部不变性以挖掘同类高密度区域中的正样本，并用难正样本强化类内变化建模。ResNet-50 在 ImageNet 线性评测达 71.3% top-1，1% 标签微调 top-5 为 78.2%，并在 Places205、VOC 与迁移任务上取得当时领先结果。
针对视频自监督表征常只预测未来、容易忽略时间结构的问题，本文提出双向特征预测：将当前片段同时关联未观测的过去与未来，并在对比学习中把过去/未来交换顺序构造成时间 hard negatives，迫使模型区分“正确时序”而非仅匹配相似外观。实验显示，联合预测过去和未来在多个迁移式动作识别基准上优于单独或简单相加的未来/过去预测。
rtificial Intelligence Laboratory
本文针对 APC 自监督损失为何能带来可迁移语音表征这一不清晰问题，在 APC 中加入向量量化层，用可精确计量的码本瓶颈控制表征容量，从而观察模型受限时优先保留的信息。实验显示，合适容量下音素与说话人信息会被放大，VQ-APC 在音素分类上优于 APC、MT-APC 等，并且部分离散码与英语音素有较好对应。
本文针对视频自监督表征中时间分辨率与长短期动态建模不足的问题，提出 Playback Rate Perception：用膨胀采样构造不同播放速率作为监督信号，并结合速率分类的判别分支与带运动注意力的重建分支，使编码器同时保留长期语义和短期运动细节。方法在 C3D、R3D、R(2+1)D 等骨干上用于动作识别和视频检索，在 UCF101、HMDB51 上相较已有自监督方法取得明显提升。
针对视频模型容易依赖单帧外观、难以学到真实运动动态的问题，本文提出用自监督伪任务区分原视频与多种时间变换视频来学习表征。关键洞察是：有效的时间扰动应迫使网络观察尽可能长的帧序列，因此设计了均匀变速、随机跳帧、前后播放和非均匀时间扭曲等变换。在C3D、3D-ResNet和R(2+1)D上预训练后，迁移到UCF101、HMDB51动作识别取得优于既有方法的表现，并显示比监督特征更能捕捉长程运动。
这篇论文针对视频标注昂贵、现有自监督任务未必抓住动作语义的问题，提出利用同一视频实例在快慢采样下语义一致但视觉节奏不同这一信号，通过视觉节奏层次对比学习（VTHCL）最大化快慢表示互信息，并用多层特征加强监督。方法在UCF-101和HMDB-51上分别达到82.1%和49.2%，并迁移到AVA动作检测、Epic-Kitchen动作预判；ICM可视化显示模型倾向捕捉关键物体与运动区域。
&D Institute, UK
针对语音情感识别和 ASR 依赖大量标注、音频自监督较少利用跨模态关系的问题，本文用“给定语音和静态人脸生成对应说话视频”的重建任务来训练音频编码器，使其学习与唇形、面部运动相关的语音表征；所得特征在测试时仅需音频。实验显示其在 CREMA-D、Ravdess 离散情感识别上达到最佳结果，在 GRID、SPC 语音识别上与其他自监督方法竞争性相当。
针对语音识别依赖大量转写数据、低资源语言难以覆盖的问题，wav2vec 2.0从原始音频自监督预训练：先用CNN得到潜在表示，在潜空间做掩码，经Transformer建模上下文，并端到端学习量化语音单元进行对比学习，再用CTC微调。其在Librispeech全量标注下达到1.8/3.3 WER；仅1小时标注即超过以往100小时设置方法，10分钟标注配合5.3万小时无标注数据仍达4.8/8.2 WER。
针对GCN在半监督节点分类中拥有大量未标注节点、但自监督机制尚未系统验证的问题，本文比较预训练、 self-training 与多任务三种接入方式，指出将自监督作为多任务正则更有效，并设计节点聚类、图划分与图补全等图属性预文本任务。实验显示，合适的任务和接入方式可提升分类泛化性，并在多种图对抗攻击下增强鲁棒性，但不同数据集和模型偏好的任务并不一致。
针对自监督视觉表征缺少统一、跨任务评测的问题，本文构建基准，比较13种ImageNet预训练模型在40个下游任务上的迁移表现，覆盖多/少样本识别、检测和密集预测。核心洞察是ImageNet Top-1只强预测相近的多样本识别，对少样本、检测和分割相关性明显下降；最佳自监督模型多数任务可超过监督预训练，但低域偏移少样本仍落后，且没有单一方法全面最优。
本文动机是减少对人工标签/奖励的依赖，避免监督学习样本效率低、任务绑定和像素重建式自监督过度关注细节的问题。核心洞察是用正负样本对比在表示空间学习可区分且具不变性的特征，并以 InfoNCE 连接互信息下界，梳理 DIM、CPC、AMDIM/CMC、MoCo 等方法。主要结果来自文献汇总：无标签 ImageNet 预训练的对比表示线性评估可超过监督 AlexNet，CPC 达 71.5% Top-1，MoCo 在迁移任务上优于监督预训练；具体增益部分可能主要来自 scaling / data。
本文动机是梳理NLP中如何利用未标注语料通过自监督预训练获得可迁移表征。核心洞察是将语言数据自身构造成“前置任务”，从词级CBOW/Skip-gram到自回归、掩码语言模型、句序预测、文档旋转、表情预测和摘要式缺句生成，统一解释Word2Vec、GPT、BERT、ALBERT、BART、PEGASUS等方法。文章主要结果是提供任务分类与适用场景概览，并非实验论文，具体性能增益和来源文中未充分说明。
这篇博客针对视觉任务依赖人工标注、成本高且医学等场景数据稀缺的问题，梳理自监督学习如何把无标注图像转化为可自动生成伪标签的预文本任务。核心洞察是利用重建、常识预测、自动标注/聚类与视频时序等数据内在结构学习可迁移表征，并以旋转预测、拼图、修复、DeepCluster、SimCLR等方法作图解说明。主要结果更多是综述性：文中引用修复任务在 PASCAL VOC 语义分割较随机初始化提升 10.2%，但整体实验对比与增益来源未充分说明。
本文追问自监督方法究竟从大量无标注图像中学到了什么，并按网络层级分析信息来源。作者用 BiGAN、RotNet、DeepCluster 对比单图像加增强与百万图像训练，指出早期卷积层主要捕获低层统计，强数据增强即可从单张图像学到接近监督预训练的表示；但深层语义表示仍明显落后于监督学习，即使用海量无标注数据也难以弥合差距。
♠, Carnegie Mellon University♥, Google Brain♣
本文针对语言预训练目标之间缺乏统一解释的问题，提出从互信息最大化与 InfoNCE 下界理解 Skip-gram、BERT 和 XLNet，并据此设计 INFOWORD，将掩码语言建模与句子全局表示—局部 n-gram 的对比目标结合。实验在 GLUE 与 SQuAD 上显示，该附加目标相较 BERT-NCE 带来更好表示，尤其提升问答和语言可接受性任务表现。
本文针对对比式自监督表征“为何能提升下游线性分类”缺乏理论解释的问题，提出以潜在类别连接无标签相似样本与下游任务的分析框架：相似对来自同一潜类，负样本来自边缘分布。论文证明低无监督对比损失可推出平均下游分类损失界，并给出依赖 Rademacher 复杂度的泛化界，说明表征可降低标注样本复杂度；同时指出负采样的局限，并提出利用更大相似块的扩展，在文本和图像受控实验中验证理论趋势。
这篇论文针对机器人强化学习依赖手工奖励、技能难以跨任务复用的问题，提出 Adversarial Skill Networks，从无标签多视角视频中学习任务无关的技能嵌入。方法将利用时间一致性的度量学习与熵正则对抗技能迁移损失结合，使嵌入既区分状态又削弱任务域绑定，并可作为新任务视频示范到当前观测的距离奖励。实验在仿真和真实数据上表明，该嵌入可用 PPO 训练连续控制策略，复用并插值已有技能解决未见任务。
针对深度视觉模型依赖大量标注的问题，本文将自监督表征学习从“重建数据”的 AED 范式转向“重建变换”的 AET：对图像施加随机变换后，仅凭原图与变换图的编码特征预测该变换，迫使特征保留视觉结构及其变化信息。方法可覆盖参数化、非参数化和 GAN 诱导变换，并在 CIFAR-10、ImageNet、Places 上较已有无监督方法取得更高性能，接近全监督上界。
针对以往预训练语言模型多为单向、难以在微调时充分利用左右上下文的问题，BERT用Transformer编码器结合掩码语言模型和下一句预测，在无标注文本上学习深层双向表示，并以少量任务层适配下游任务。实验显示其在11项NLP基准上刷新结果，GLUE达80.5%，MultiNLI达86.7%，SQuAD v1.1/v2.0 F1分别达93.2和83.1。
针对少样本识别依赖基类标注学习可迁移表征、但易在新类上泛化不足的问题，论文将自监督预文本任务作为第一阶段训练的辅助损失，促使特征提取器学习更丰富的视觉特征，并可自然引入额外无标注数据。实验在 MiniImagenet、CIFAR-FS、tiered-MiniImagenet 和 ImageNet-FS 等数据集及多种架构/自监督任务上均带来显著提升，部分达到当时最优结果。
本文针对弱监督/自监督预训练表征容易过拟合代理任务、迁移泛化不足的问题，提出 ClusterFit：先用预训练网络抽取特征并做 k-means 聚类，再以簇分配为伪标签从头训练新模型，相当于对特征空间做有损平滑以去除任务特有噪声。在图像与视频、弱监督与自监督设置下，11 个迁移数据集均有提升，如 ImageNet、iNaturalist、Kinetics、VOC 等任务获得约 2%–9% 的绝对增益，且不增加额外标注或数据。
论文针对自监督表征中“保留哪些信息”这一问题，主张有用语义往往是不同视角/通道共享的因素。其核心是将对比学习推广到任意多视图，通过拉近同一场景不同视图、推远不同场景来近似最大化互信息，并抑制视图特有噪声。实验显示，CMC在图像和视频无监督基准上达到或接近当时最优，多视图数量增加通常提升表征质量，且对比目标优于跨视图预测。
针对真实应用中高质量标注昂贵、噪声标签和半监督伪标签都会使模型泛化强依赖标签质量的问题，本文提出从“辅助干净标签”学习的视角，将图像旋转预测这一自监督任务并入一致性正则化，形成 RDCR，以额外监督解耦噪声标签并学习更耐噪表征。实验显示其在小噪声下与现有方法相当或更优，在高噪声场景提升更明显。
本文针对深度视觉模型在标注稀缺时泛化差的问题，重新设计并强化对比预测编码（CPC），通过从图像块的空间上下文预测未来块表征来学习更可预测的自监督特征。改进版在 ImageNet 线性分类 Top-1 达到 71.5%，少量标注下比像素监督训练显著更省标签（约 2–5 倍），1% 标签时 Top-5 提升 34 个点，并在 PASCAL VOC 检测迁移中以 76.6% mAP 超过监督预训练基线。
– Qu´ebec Artificial Intelligence Institute
针对图数据标注稀缺且随机游走式无监督目标容易偏重邻近性、依赖超参的问题，DGI 将 Deep InfoMax 的局部—全局互信息最大化迁移到图上，用 GCN 生成节点邻域 patch 表征和图级 summary，并通过正负局部—全局对比学习训练编码器。实验显示其在多种节点分类基准的转导与归纳设置下均具竞争力，部分情况下超过监督或无监督强基线。
HCI, KIT, 3CVL, ETH Z¨urich
本文针对3D CNN动作识别中运动线索建模不足的问题，提出DynamoNet：在分类网络中加入动态运动滤波层，用短期未来帧预测作为自监督辅助任务，为每段视频生成输入相关的运动核，并与STC-ResNext特征联合分类。实验在UCF101、HMDB51、Kinetics 400上分别报告97.8%、76.8%、77.9%，显示动态运动表征能提升动作识别，但具体增益与骨干/预训练贡献的拆分仍需细看消融。
针对低资源自动语音识别对大量标注语音的依赖，本文系统比较了离散量化与连续表示的自监督预训练。核心发现是先用 vq-wav2vec 发现离散声学单元、再进行 BERT 式序列建模，并用 CTC 直接微调，比不显式量化的连续 BERT 更有效。在 LibriSpeech 960 小时无标注预训练后，仅用 1 小时标注数据即可在 test-other 超过既有 100 小时标注系统；10 分钟标注下仍达到 16.3/25.2 WER。
rtificial Intelligence Laboratory
本文针对无标注语音中学习通用表征困难的问题，将自回归预测编码（APC）作为生成式预训练目标，通过预测未来声学帧尽量保留原始语音信息，并比较 RNN 与 Transformer 编码器。实验在 ASR、语音翻译和说话人识别上表明，APC 表征优于 log Mel、CPC、PASE，且可减少下游标注数据和模型参数；Transformer 版整体优于 RNN。
这篇论文针对高保真 ImageNet 生成强依赖大规模人工标签的问题，探索用自监督表征与半监督标签推断替代真实标签来训练条件 GAN。核心思路是在投影判别器中使用由少量标注和无标注数据推断的类别信息，并在 GAN 训练中引入自监督信号。实验显示，S3GAN 在无监督设置刷新 ImageNet FID 结果；仅用 10% 标签即可匹配全监督 BigGAN，20% 标签时在 FID 上超过 BigGAN。
这篇论文针对视频时序对应学习中区域跟踪与像素匹配割裂、且联合标注稀缺的问题，提出用同一个帧间亲和矩阵自监督地同时建模区域级定位和细粒度匹配，并利用时间连续性、循环一致性与能量保持约束让两者互相改进。实验显示其在 DAVIS 分割传播、关键点/部件传播和目标跟踪上优于当时自监督方法，部分指标还超过 ImageNet 监督预训练的 ResNet-18 表征。
面向自动驾驶等动态场景，逐点 3D scene flow 标注昂贵，限制了监督方法在真实数据上的扩展。论文的关键做法是在点云序列上用最近邻伪对应约束预测点落到下一帧占据区域，并用时间循环一致性避免退化，从而可利用大规模未标注数据训练 FlowNet3D 类网络。实验显示纯自监督可接近 KITTI 上监督方法，结合少量有标注数据和大规模无标注数据时超过当时 SOTA，增益可能主要来自利用更多真实域数据。
本文针对GAN虽能生成高质量图像、但其无监督表征长期落后于自监督方法的问题，重新审视“生成即理解”的假设。作者在BigGAN上加入编码器并改造联合判别器，引入数据、潜变量及联合项形成BigBiGAN，使生成与推断共同训练。实验显示其在ImageNet无监督表征学习和无条件图像生成上达到当时最优；但提升可能部分来自模型规模与BigGAN基础能力。
这篇论文针对视觉对应学习依赖人工标注或合成光流数据、难以覆盖从像素到对象层级的问题，提出利用视频时间循环一致性作为自监督信号：在特征空间中先反向再正向跟踪同一图像块，并用起终点不一致训练表征，同时引入多长度与跳帧循环缓解遮挡和早期训练困难。学到的特征无需微调即可用于目标/语义掩码传播、姿态与关键点跟踪、长程光流等任务，实验显示优于既有自监督方法，并接近部分强监督方法。
论文针对机器人多技能学习依赖任务标注示范或手工奖励、难以覆盖连续行为空间的问题，提出用人类遥操作“玩耍”数据进行自监督控制。核心是 Play-LMP：从未分段轨迹中抽取当前/目标状态，把多种可达行为组织到潜在计划空间，并在测试时按目标复用。实验显示，玩耍数据覆盖约为专家示范的4倍，模型在18个视觉桌面操作任务上优于单任务专家策略，且更抗扰动并会尝试重试。
针对视觉表征依赖大量人工标注的问题，本文提出 AMDIM：在同一图像/时空上下文的多种增强视图之间最大化特征互信息，并结合跨增强预测、多尺度局部-全局对比学习和更强编码器，使表示捕获跨视图稳定的高层因素。在线性评估中，ImageNet 达 68.1%，较既有最好结果高约 12%，STL10 超 94%，Places205 迁移达 55%；但部分增益可能与架构和训练规模有关。
针对图像/视频描述模型虽生成准确却常把词语关联到错误区域、产生幻觉的问题，论文指出循环解码器会让语言先验与定位纠缠，缺少逐词 grounding 约束。其核心是“解码→定位→重构”的循环训练：生成词后用轻量 localizer 反定位区域，再由共享解码器重构真值句子，测试时移除该层。实验在 Flickr30k Entities 和 ActivityNet-Entities 上提升 grounding，约缩小无监督与监督方法差距 18%/34%，且基本保持描述质量。
针对以往语音自监督表征多依赖单向历史上下文、难以充分利用连续语音中双向信息的问题，Mockingjay 将 BERT 式掩码建模改造为连续声学帧重建，用多层双向 Transformer 在无标注语音上预训练，并可直接抽取或微调表征。实验显示其在音素分类、说话人识别和语音情感分类上优于 Mel 特征与 APC 等基线；仅用 0.1% 标注数据时也超过使用全部标注的 Mel 特征结果。
本文针对视觉自监督表征中对比学习负样本字典难以同时“大且一致”的问题，将对比学习解释为字典查找，并提出 MoCo：用队列解耦字典规模与 batch size，用动量更新的 key encoder 保持历史特征一致。在 ImageNet 线性评测上具竞争力，并在 VOC、COCO 等 7 个检测/分割迁移任务中超过有监督预训练，显示自监督预训练可替代部分 ImageNet 监督预训练。
ce, Peking University, China
针对少标注节点图上GCN因拉普拉斯平滑难以加深、标签信息传播不足而泛化受限的问题，论文指出低标注率下存在需要更多传播层的“层数效应”，并提出M3S：以多阶段自训练逐步加入高置信伪标签，再用DeepCluster及聚类对齐机制进行自监督校验。实验在多个图数据和不同标注率下优于GCN、协同/自训练等基线，尤其在极少标签场景更稳定。
本文针对自监督图像表征中“最大化互信息”为何有效这一动机，质疑其成功并非来自互信息本身。核心洞察是互信息估计困难且对可逆变换不敏感，实际效果强依赖编码器结构和 MI 下界/critic 的归纳偏置，并可从深度度量学习角度解释。实验显示，更紧的 MI 下界反而可能带来更差线性分类表征，架构选择对结果影响更大。
本文针对自监督视觉表征过度关注前置任务、较少系统考察 CNN 架构的问题，重跑多种经典任务与网络，指出监督学习中的架构经验并不总适用：残差连接可避免深层表征退化，增宽网络显著提升表征质量，线性评估还受学习率日程影响。通过合适架构与 scaling，旧方法也大幅刷新无监督表征结果，如 Rotation 达到 ImageNet 55.4% top-1，显著缩小与全监督差距。
针对图像分类中标注昂贵、少量标签难以充分利用大量未标注图像的问题，论文提出 S4L，将自监督预文本任务转化为半监督损失，与有标签分类目标联合训练，例如旋转预测和 exemplar 任务。实验在 ILSVRC-2012 的 10%/1% 标签设置下表明，S4L 优于强监督基线、与既有半监督方法竞争；与 Mean Teacher 等正则化结合后互补，在 10% 标签 ImageNet 半监督任务上达到新的最佳结果。
针对图像语义分割和音频声源分离依赖大量标注、且既有 Mix-and-Separate 需同步音视频才能推理的问题，论文用自然视频自监督构造混合音频训练，并通过 sigmoid 到低温 softmax 的激活调度促使中间通道稀疏解耦，再将类别匹配到特征通道，从而支持仅图像分割或仅音频分离。在 AVE 等约 4000 个视频上，解耦模型在语义分割和声源分离上优于若干基线，但增益可能也部分来自数据规模扩大。
针对神经对话模型常生成平淡、前后不连贯回复的问题，论文将话轮顺序视为自监督信号，提出“不一致顺序检测”任务，并用基于历史三元组采样的 SSN 缓解长历史编码遗忘，再通过对抗式联合训练引导生成更符合对话流。实验在 OpenSubtitles 与 Movie-Ticket Booking 上提升开放域和任务型对话的既有 SOTA，表明顺序建模有助于连贯性。
本文针对无条件 GAN 在复杂图像上训练不稳、判别器随生成分布变化而遗忘有用表征的问题，提出在判别器中加入旋转预测等自监督辅助损失，使其在真假判别外持续学习稳定特征，从而在无标签条件下部分获得条件 GAN 的优势。实验显示该方法提升判别器表征并缩小无条件与条件生成差距，结合自调制后可接近同等条件 GAN，在无条件 ImageNet 上达到 FID 23.4。
ng, Imperial College London
论文针对辅助学习依赖人工设计任务和额外标注的问题，提出 MAXL：用标签生成网络自动产生辅助标签，并让其损失由多任务网络在主任务上的表现反向驱动，相当于通过双重梯度元学习“有用的辅助任务”。在图像分类实验中，MAXL 在 7 个数据集上优于单任务训练，也超过多种自动辅助标签基线，并在有人工层级标签时达到相近竞争力。
本文针对全监督分类中传统自监督多任务学习收益有限的问题，指出其会强迫主分类器对旋转等变换保持不必要的不变性，反而增加任务难度。作者将原始类别与变换标签合并为联合标签，提出自监督标签增强，并通过多变换聚合推理及自蒸馏兼顾精度与速度。在CIFAR、少样本和类别不均衡等设置中均稳定提升，如CIFAR-100相对增益8.60%、FC100 5-way 5-shot增益7.05%。
针对抽取式摘要模型通常从零开始用交叉熵训练、难以显式学习文档级主题与结构的问题，本文提出在完整文档上进行自监督预训练：通过 Mask 预测缺失句、Replace 识别外来替换句、Switch 判断句序扰动来学习上下文化句表示。基于 LSTM 句编码器和文档级自注意力的简单层次模型在 CNN/DM 上收敛更快、样本效率更高，三种预训练均优于基础模型，其中一种超过当时精心设计的 NEUSUM。
针对3D人体姿态标注昂贵、弱/自监督方法常依赖额外3D数据或相机外参的问题，论文提出EpipolarPose：训练时用多视角图像的2D姿态与极线几何自动三角化生成3D监督和相机几何，测试时仍可单图预测3D姿态。方法在Human3.6M和MPI-INF-3DHP上取得弱/自监督设定下的新SOTA，并提出结构感知的PSS指标评估姿态合理性。
论文针对传统自监督预文本任务常要求预测图像变换、从而学到与变换协变而非语义稳定的表征这一问题，提出 PIRL：不再预测拼图/旋转等变换属性，而用对比损失拉近原图与变换图表示、拉远其他图像，以学习预文本不变表征。实验显示其在 ImageNet 线性评估等自监督基准达到当时 SOTA，并在目标检测迁移中甚至优于监督预训练。
al University
论文针对基于运动的自监督学习中“未来运动歧义大”和“同一物体运动一致”等假设过强的问题，提出条件运动传播 CMP：给定单帧图像与少量稀疏光流引导，恢复整幅图的稠密运动，从而迫使编码器学习符合运动学结构的表征。实验显示该预训练在 VOC 语义分割、COCO 实例分割和 LIP 人体解析等任务上达到当时自监督最佳，并可用于交互式像素级标注等应用。
全文短总结尚未生成。
针对视频标注昂贵且既有自监督方法多停留在单帧/双帧、难以学习时空特征的问题，论文提出让 C3D 从未标注视频中预测运动与外观统计量，如最快运动区域及方向、颜色多样性和主色，以贴近人类视觉的预任务获得表征。实验显示该预训练显著优于随机初始化，在 UCF101、HMDB51及动作相似度、动态场景识别等迁移任务上达到当时自监督方法的领先表现。
面向城市移动机器人在光照、天气和季节变化下难以依赖人工标注持续识别地形的问题，本文用车轮-地面交互声音学习无监督声学嵌入，并借助视觉特征构造三元组、聚类后反投影到相机图像，生成稀疏标签训练视觉语义分割。实验显示，声学分类优于既有无监督方法，视觉分割性能接近人工监督训练，并具备适应新视觉条件的潜力。
端到端 ASR 在标注语音较少时退化明显，本文重新检验自训练能否利用未标注音频与未配对文本降低转写成本。方法用强声学模型和语言模型生成伪标签，并针对 seq2seq 的循环、过早停止等错误做过滤，同时用多模型采样集成增加伪标签多样性。LibriSpeech 上，100 小时标注数据基线结合四模型集成与过滤后，在噪声语音 WER 相对降低 33.9%，干净语音可恢复与 oracle 差距的 59.3%。
本文针对视觉模型依赖大量标注数据的问题，提出 Selfie 将 BERT 式掩码预训练迁移到连续图像：遮挡图像块后，不回归像素，而是在同图像采样的干扰块中用对比分类选出正确块，并用卷积块加注意力池化学习可迁移初始化。在 CIFAR-10、ImageNet 32/224 上均提升 ResNet-50，低标注时收益最大，ImageNet 224 的 5% 标注从 35.6% 提至 46.7%，且显著降低多次训练方差。
光流学习受真实标注稀缺和遮挡像素光度一致性失效限制，SelFlow以自监督方式先从非遮挡区域蒸馏可靠光流，再通过扰动超像素合成遮挡，用其监督遮挡区域预测，并引入多帧时序信息的简洁CNN。实验在Sintel、KITTI 2012/2015上超过既有无监督方法，自监督预训练后微调在三大基准达到当时领先结果，Sintel EPE为4.26。
Engineering and Computer Science, National Taiwan University
该文针对无监督语音表征难以同时完成时间切分与音素聚类、因而难以用于低资源 ASR/TTS 的问题，提出 SeqRQ-AE：先用自编码器学习帧级表示，再通过向量量化与连续重复码合并得到接近音素同步的离散序列，并用少量标注数据映射到音素。LJSpeech 实验显示其元音潜空间结构与 IPA 图较一致，在少于 20 分钟配对语音下音素识别优于对比方法，合成语音可懂度也超过基线。
本文关注高维表征学习中常用的变分互信息估计为何难以可靠使用：作者指出 MINE 等方法的方差在特定条件下可随真实互信息指数增长，并通过自一致性测试发现现有估计器会违背数据处理不等式、独立可加性等基本性质。论文将变分估计统一为有效密度比上的优化，定位分区函数估计是高方差来源，并引入方差缩减估计器，在标准基准上取得更好的偏差—方差权衡。
论文针对无标注类别关键点学习中“同一图像变换等变”难以保证跨实例一致的问题，提出将密集关键点视为具备类内不变性的局部描述子，并通过 Descriptor Vector Exchange 在几何匹配前交换不同实例的描述向量，迫使嵌入同时可作描述子与地标。在人脸、动物脸和玩具机械臂实验中，DVE 在无监督地标检测与跨实例匹配上达到或超过既有方法。
本文针对无标注表征学习过度依赖 ImageNet 等精心整理数据、在原始非均衡大规模数据上效果下降的问题，提出 DeeperCluster，将旋转自监督的稳定性与基于图像间相似性的深度聚类结合，并用层次化聚类扩展到 YFCC100M 的 9600 万图像。结果显示其在多项迁移评测上优于 RotNet/DeepCluster 等无监督方法，且用其预训练 VGG-16 后 ImageNet top-1 达 74.9%，比从头监督训练提升 0.8%，但增益可能主要来自 scaling / data。
针对真实时间序列标签稀缺、长度不一且长序列难以高效建模的问题，本文提出无监督通用表征学习方法：用因果空洞卷积编码器处理变长多变量序列，并设计基于时间子序列关系的三元组损失与负采样来学习相似性。实验覆盖 UCR、UEA 及超长用电序列，显示其表征可迁移到分类和回归任务，优于同期无监督方法，并在分类上接近非集成监督方法的水平。
针对强化学习中依赖奖励或像素重建学习状态表征效率低、易忽略抽象因子的问题，本文提出 ST-DIM，通过 InfoNCE 在连续观测的全局-局部与局部-局部特征间最大化时空互信息，并构建含 22 个 Atari 游戏、以真实 RAM 状态变量线性探测评估的基准。实验显示该方法相比 VAE、像素预测和其他对比方法更能捕获小物体及多目标状态变量。
这篇论文针对自监督学习在有充足标签时似乎只提升有限准确率的疑问，提出应从鲁棒性与不确定性而非干净准确率评价其价值。作者将旋转预测等自监督辅助任务与监督训练结合，作为无需额外数据或更大模型的正则化信号。实验显示，该策略在对抗样本、标签噪声、常见图像扰动上均有稳定增益，并显著改善近分布异常的 OOD 检测，在 CIFAR-10 和 ImageNet 上甚至超过部分全监督方法。
针对视频自监督方法多停留在低层纹理和短时运动、难以获得长时语义标签的问题，VideoBERT 将 ASR 文本与量化后的视频“视觉词”统一为离散序列，用 BERT 学习视觉—语言联合分布。该表示可用于文本生成视频、长程未来预测、开放词表动作分类和视频描述；实验显示跨模态数据与训练规模关键，并在 YouCook II 视频描述上超过当时 SOTA。
针对视觉语言任务长期依赖任务专用融合、缺少可迁移预训练表示的问题，VL-BERT将词与图像RoI统一为Transformer输入，并在Conceptual Captions及纯文本语料上通过遮蔽词/RoI预测学习跨模态对齐。实验显示预训练在VCR、VQA、RefCOCO+上带来稳定提升，单模型在VCR榜单取得第一，并优于多种同期视觉语言预训练方法。
△Facebook AI Research, Menlo Park, CA, USA, ▽University of T¨ubingen, Germany
这篇论文针对语音自监督表示多为连续特征、难以直接复用 NLP 离散序列方法的问题，提出 vq-wav2vec：在 wav2vec 的未来上下文预测目标中加入向量量化，用 Gumbel-Softmax 或在线 k-means 将原始音频片段离散化，再用 BERT 在离散语音 token 上预训练并接入声学模型。实验显示，相比 log-mel 和连续 wav2vec 特征，该表示在 TIMIT 音素分类与 WSJ 语音识别上取得当时新 SOTA。
本文针对互信息最大化自监督表征在高互信息场景中需要指数级样本、易过拟合且只捕获少数变化因素的问题，提出用 Wasserstein 距离替代互信息估计中的 KL 散度，形成 Wasserstein dependency measure，并借助 GAN 中的 Lipschitz 约束实现可训练近似。实验在合成与真实任务上显示，该方法能缓解“不完整表征”，更好保留任务相关因素，较互信息目标取得明显改进。
针对语音识别依赖大量转写音频、低资源场景标注昂贵的问题，wav2vec用全卷积网络直接从原始音频做无监督预训练，通过对比式未来样本判别学习可迁移表示，再替代log-mel特征训练声学模型。在WSJ上用约1000小时未标注语音将nov92 WER降至2.43%，低资源8小时标注设置相对强基线最高降低36% WER，并在TIMIT接近当时最佳结果。
本文针对自监督视觉表征长期缺少可比评测、且未充分利用“无需标注即可扩展数据”的问题，系统将 Jigsaw 与 Colorization 扩展到 1 亿图像，并同时考察数据规模、模型容量和预任务难度。核心洞察是当前预任务不够“难”，难以从大规模数据中学习高层语义。实验在 9 个迁移任务上表明，scaling 后可在表面法线估计、视觉导航等非语义任务上匹敌或超过监督预训练，检测接近监督模型，但语义分类仍有明显差距。
本文针对自监督视觉表征长期忽视“可扩展性”的问题，将 Jigsaw 与 Colorization 扩展到 YFCC-100M，并同时考察数据规模、模型容量和前置任务难度。核心洞察是大数据只有在高容量模型和更难任务下才更有效，现有任务仍不足以学习强高层语义。结果显示其在目标检测、表面法线估计和视觉导航上可接近或超过 ImageNet 监督预训练，但语义分类固定特征仍有明显差距。
判断受限于 PDF 文本抽取质量：当前内容几乎只保留博客题名、作者与导航信息，未呈现自监督表征学习的具体动机、方法脉络、实验或结论。只能推断主题关注利用无标注数据学习可迁移表示，但核心洞察、相对既有方法的创新点和主要结果文中未充分说明。
论文动机是利用视频中声音与视觉事件的天然同步关系，缓解人工标注不足并学习更通用的多模态表征。核心做法是构造音视频时间错位判别的自监督任务，并采用早期融合的3D卷积网络迫使模型联合建模运动与声音。学到的特征可用于声源定位、音视频动作识别和屏内/屏外声源分离，并在真实网络与电视视频上展示了可视化和分离效果。
本文针对自监督预训练与下游微调通常被迫使用同一架构的问题，提出将预训练模型特征聚类为伪标签，再训练目标架构预测这些标签，从而解耦复杂预文本任务/深模型与较浅下游模型。作者据此设计带遮挡的 Jigsaw++，并用 VGG16 向 AlexNet 迁移知识，在 PASCAL VOC、ILSVRC12、Places 上提升自监督表征，VOC2007 检测中将与监督预训练的 mAP 差距由 5.9% 缩至 2.6%。
这篇论文针对用视频运动信号做自监督时，单帧直接预测光流存在方向和速度歧义、而运动分割预处理又复杂的问题，提出跨像素光流相似性损失：让像素嵌入之间的相似度匹配其光流向量相似度，从而学习“哪些像素可能一起运动”而非具体运动。模型测试时无需视频或光流，可迁移到分类、检测和分割；实验显示其在运动自监督中优于既有方法，并在语义分割预训练上达到当时领先结果。
针对伪造图像样本难以穷尽、监督式取证泛化受限的问题，论文将拼接检测视为图像内部成像流程“不自一致”的异常检测：利用真实照片自带的 EXIF 元数据训练补丁对一致性分类器，再在测试图中定位不一致区域。方法无需见过篡改样本或手工取证特征，在多个图像拼接取证基准上达到当时 SOTA，但模型依据的具体视觉线索与一致性融合方式仍不够可解释。
本文针对机器人操作中视觉表征依赖人工标注、难以随交互持续改进的问题，提出 Grasp2Vec：利用“抓走物体后场景表征的差值应对应被移除物体”的持久性约束，自监督学习物体中心嵌入，并用嵌入相似度为目标抓取提供奖励。实验显示其可用于实例识别、定位和目标条件抓取，在仿真中明显优于直接从图像强化学习和自编码器等表征，真实抓取也取得较高成功率。
这篇论文针对排序式自监督中置乱方式通常固定随机采样、未随网络学习状态调整的问题，将图像拼图的空间排序与视频帧的时间排序统一建模，并用深度强化学习学习一个置换采样策略，根据验证反馈选择更有助于更新表征的训练扰动。实验显示，该自适应时空自监督在图像分类、分割、视频动作识别和近邻检索等迁移/无监督评测上优于或接近当时方法。
针对强化学习依赖人工设计稠密外部奖励、难以扩展的问题，本文系统考察完全无外部奖励的好奇心驱动学习：用前向动力学预测误差作为内在奖励，并比较像素、随机特征、逆动力学和 VAE 等表征空间。54 个 Atari、Mario、3D 导航和物理仿真环境的实验显示，纯好奇心已能取得不少与手工奖励一致的行为；随机特征在常见基准上已足够，但学习特征在新关卡泛化更好，同时预测误差奖励在随机环境中会被“自我制造惊奇”误导。
论文关注人脸与声音长期分开建模导致无法跨模态按身份检索的问题，提出用“说话人脸”视频中的同步脸-声作为正样本、不同视频作为负样本，在双流 CNN 中学习共享身份嵌入，并用课程式难负样本挖掘稳定自监督训练。实验显示该嵌入可泛化到训练中未见身份，在跨模态验证与 1-in-N 检索中优于既有强制匹配方法，并可用于电视剧角色的一样本检索与标注。
针对有标注数据难扩展、下游任务易过拟合的问题，本文从“破坏—恢复”视角提升自监督预训练难度：将拼图、图像补全和着色进一步损坏，并提出缺块且去色的 damaged jigsaw puzzle，让网络同时复原排列、内容与颜色。实验显示，复杂化任务优于原版及简单组合，在 PASCAL 分类和语义分割迁移上达到当时自监督方法的最佳水平。
针对传统聚类依赖低层特征、深度聚类初始化复杂或扩展性受限的问题，论文用领域变换构造伪父类监督，并在 ACOL 多 softmax 输出层上结合图活动正则化，使同一伪类下的副本竞争分化，学习适合 k-means 的潜在表征。实验在 MNIST、SVHN、USPS 上取得当时优于 DEC、JULE、VaDE 等方法的无监督聚类准确率，并分析了变换类型对结果的影响。
针对相机等远距传感器信息丰富但难解释、近距传感器标签可靠却感知范围短的问题，本文用里程计把当前图像与未来近距传感器读数对齐，自动生成多距离障碍标签，训练CNN实现长距感知且无需人工标注或传感器标定。Mighty Thymio实验证明该方法能泛化到未见场景，并可直接驱动避障控制；仿真任务也验证了思路的通用性。
全文短总结尚未生成。
现实视频中多个物体声音混在单声道音轨里，传统分离常依赖多麦克风或干净单源监督，难以适用于野外数据。本文的关键洞察是不同视觉上下文可为声音归属提供弱监督：先用图像识别推断物体、用 NMF 提取音频频率基，再用深度多实例多标签模型学习“频率基—物体”关联，并以物体级谱先验引导新视频分离。实验显示其在视觉辅助音源分离和音频去噪上优于当时方法。
全文短总结尚未生成。
本文针对无监督表征难以从高维原始数据中提取可迁移高层信息的问题，提出 CPC：先将观测压缩到潜空间，再用自回归上下文预测未来潜表示，并通过 InfoNCE/负采样最大化互信息下界，避免直接建模像素等复杂分布。该方法在语音、图像、文本和 3D 强化学习中均取得强或接近最优的迁移表现，显示出跨模态通用性。
本文针对纯视觉自监督机器人操作中视频预测不准、长时任务易偏离目标的问题，提出闭环 visual MPC：用同一批自主采集数据学习视频预测与图像配准，将当前、初始和目标图像对应起来作为规划代价，使机器人可持续重试。实机实验中，模型用 160 小时无标注数据训练后，可在未见物体上完成抓取、重定位及推/抓结合等较复杂操作，较开环视觉 MPC 成功率明显提升。
本文针对自监督表征学习中预任务与下游语义任务脱节的问题，提出让网络学习辨别真实图像与“带伪影”图像。其关键不是在像素级制造易被低层统计识别的缺陷，而是先训练自编码器，在瓶颈特征中随机丢弃信息，再用受限修复网络对抗生成全局不一致但局部逼真的伪影，并用判别器特征迁移。实验显示该方法在 ILSVRC2012、Pascal VOC 和 STL-10 等迁移评测上达到当时先进水平。
针对人机交互中理解头姿、表情等面部属性依赖昂贵且含糊标注的问题，论文提出 FAb-Net：从同一人脸视频轨迹中以源帧到目标帧的重建/光流预测作为自监督代理任务，迫使低维嵌入编码姿态、关键点和表情，并通过多源帧置信/注意力掩码与课程学习改进表征。实验显示该嵌入在线性迁移到关键点、姿态回归和表情分类时，达到或超过已有自监督方法，并在部分任务上接近甚至可比监督方法。
面向语义匹配、部件检测等几何任务，论文针对深度特征依赖大量关键点/3D标注的问题，提出用合成图像形变自监督学习稠密描述子，并通过概率式“内省”同时预测像素级匹配可靠性，以避开背景、遮挡等不稳定区域。实验显示，该预训练在少标注部件检测中优于多种预训练基线，语义匹配超过同等监督的 AnchorNet 等方法，并接近全监督方法。
面向机器人和自动驾驶中光照、天气、传感器噪声导致的语义分割失效，论文提出 SSMA 多模态融合：用自监督学习到的门控概率，按类别、空间位置和场景上下文动态放大或抑制 RGB、深度/红外特征，并配合注意力对齐中层表示；同时给出高效单模态 AdapNet++。在 Cityscapes、SUN RGB-D、ScanNet、Freiburg Forest 等数据集上达到或超过当时最优，且参数、推理效率和传感器失效鲁棒性更好。
ineering, KAIST, Daejeon, Korea
针对视频标注昂贵且既有自监督方法多依赖2D CNN、难以建模时间关系的问题，论文提出 Space-Time Cubic Puzzles：打乱视频的3D时空块并训练3D CNN复原其排列，从而同时学习外观与时序表征。实验显示，该预训练迁移到UCF101、HMDB51动作识别优于多种2D自监督方法，并较从头训练在UCF101提升23.4%，接近使用部分Kinetics标签的监督预训练。
论文针对传统音频分离缺少视觉定位、而视觉与声音天然同步可提供自监督信号的问题，提出 PixelPlayer 与 Mix-and-Separate 框架：用视频网络提取像素级视觉特征、音频 U-Net 生成声学通道，并合成每个像素对应的声源掩码。在新建 MUSIC 数据集上，该方法在声源分离上优于多种基线，并能定性定位发声区域、支持按物体调节音量等视频编辑应用。
这篇论文从监督分类器会自发学习类别间视觉相似性出发，提出把无监督表征学习改写为“区分每个图像实例”的任务。核心创新是用非参数 softmax 与 memory bank 直接学习实例特征度量，并用 NCE 降低百万级实例分类开销、近端正则稳定训练，测试时也用 kNN 保持训练评估一致。结果在 ImageNet、Places 等无监督分类上显著超过当时方法，并在半监督与检测微调中取得竞争表现。
针对监督视觉表征依赖海量人工标注的问题，本文提出 RotNet：将图像旋转到 0/90/180/270 度并训练 ConvNet 预测旋转角度，利用“判断朝向需理解物体语义与姿态”的自监督信号学习特征。该方法无需额外标注或复杂预处理，在 CIFAR、ImageNet、PASCAL 等分类、检测、分割迁移评测中显著优于当时无监督方法；PASCAL VOC 2007 检测 AlexNet 预训练达 54.4% mAP，仅低于监督预训练 2.4 点。
面向机器人在测试时接受任意图像目标、且训练中缺少手工状态与奖励的问题，论文提出 RIG：用 VAE 学到视觉潜空间，同时用于目标“想象”采样、观测/目标编码和潜空间距离奖励，并结合离策略目标重标记提升样本效率。实验显示该方法优于直接图像强化学习等基线，可在仿真复杂视觉任务和真实机器人操控中从原始图像学习目标条件策略。
这份讲座从强监督依赖大规模标注、医学等领域标注稀缺以及海量未标注图像视频未被利用出发，概括自监督的核心洞察：通过遮蔽或变换数据的一部分，构造相对位置、着色、旋转、视频时序等代理任务迫使网络学习语义表征。结果显示，自监督预训练在 PASCAL VOC 检测上明显优于随机初始化，多任务组合和更深网络进一步提升，旋转等方法已接近 ImageNet 强监督预训练，但仍存在差距。
针对自监督机器人学习在高维动作空间中随机探索样本稀疏、数据需求大的问题，CASSL将课程学习从“样本难度”转移到“控制维度”上，用方差型全局敏感性分析确定先学哪些控制参数，再逐步扩展搜索空间。在自适应三指抓取实验中，该方法在新物体上较随机探索提升14%，较分阶段/在策略采样提升约8%，表明收益主要来自更有结构的高维动作采样。
本文针对视觉模型依赖昂贵 ImageNet 标注预训练的问题，考察用自动上色作为自监督代理任务：由灰度预测颜色，在无标签数据上学习可迁移表征。核心洞察是损失形式、训练细节和网络结构会显著影响自监督效果，并将其与不同 ImageNet 预训练设定系统比较。实验在 VOC 2007 分类和 VOC 2012 分割上达到不使用 ImageNet 标签方法中的当时最佳，表明上色监督信号可接近部分有监督预训练。
针对绳索等可变形物体难以建模、开环控制易失效的问题，论文将少量人类图像示范作为高层计划，并用 Baxter 自主采集约 6 万次交互训练像素级逆动力学 CNN，从当前/目标图像预测抓取-放置动作。实验显示该组合能按单目图像示范把绳索整理成多种形状，但泛化仍受单一绳索、背景和数据规模限制。
针对大规模人工标注表征学习成本高、单一自监督任务易学到偏任务特征的问题，本文利用合成图像天然具备深度、法线和实例轮廓等“免费”标注，训练同时预测多种中层几何线索的多任务网络，并通过对抗式特征域适配缩小合成与真实图像差异。实验显示，多任务表征比单任务基线更可迁移，在 PASCAL VOC 2007 分类和 2012 检测迁移上达到当时领先结果。
本文针对视觉数据中空间布局或属性顺序等结构难以直接监督学习的问题，提出“视觉置换学习”：从被打乱的图像块或图像序列中预测恢复顺序。核心做法是用 Sinkhorn 层将 CNN 输出转为双随机矩阵，作为离散置换矩阵的可微近似，从而端到端训练 DeepPermNet。实验显示，该方法在相对属性学习的 Public Figures、OSR，以及自监督预训练后的 PASCAL VOC 分类和分割任务上达到当时最佳或有竞争力结果。
针对相机定位/视觉SLAM中地图表示依赖手工特征、难以融合多传感器和持续更新的问题，论文提出将地图表示为神经网络MapNet，把VO、GPS等提供的几何约束写入训练损失，并在推理时结合PGO；同时用单位四元数对数改进旋转回归。7-Scenes与Oxford RobotCar实验显示，其相较PoseNet和纯VO显著降低位姿误差，未标注序列还能通过自监督继续带来增益。
针对基于图像块上下文的自监督表征容易利用色差等低级线索“作弊”、且迁移性能落后于监督预训练的问题，论文在拼块位置预测框架上系统改进：抑制色差线索、处理空间偏斜，并关注中层特征训练不足，同时用非标准开发集降低对基准的调参偏置。组合方法在 PASCAL VOC 分类/检测、VOC 2012 分割及 ImageNet、Places 线性评测上取得当时领先结果，迁移分类较基线提升 4.0–7.1 个百分点。
论文针对无人机室内避障中专家示教数据少、仿真到真实迁移差的问题，反其道而行收集真实碰撞数据：让低成本 AR-Drone 随机飞行并自主撞击，获得 20 个环境、40 小时、11500 次碰撞轨迹，再用碰撞前后的负/正样本训练单目端到端导航策略。实验显示该自监督策略在杂乱室内和含行人的动态场景中能有效避障，并优于模仿学习、仿真训练等对比方法，增益可能主要来自真实大规模数据。
论文动机是利用海量无标注视频中天然共现的画面与声音，学习无需人工标签的视觉和音频表征。核心做法是提出音视频对应性任务：判断视频帧与1秒音频是否来自同一时刻，并从零联合训练视觉、音频子网络及融合层。结果显示，L3-Net能有效完成该任务，在声音分类基准上达到当时最优，视觉迁移到ImageNet可媲美同期自监督方法，并能定位发声物体及学习细粒度类别。
针对自监督视觉任务各自为政、与有监督预训练仍有差距的问题，本文在统一的 ResNet-101 设置下公平比较相对位置、着色、Exemplar 和运动分割，并尝试多头联合训练、输入协调与 lasso 特征分解来缓解任务冲突。实验显示更深网络和多任务组合稳定提升表现，最佳联合表征在 PASCAL 检测上接近 ImageNet 预训练，在 NYU 深度预测上达到相当水平。
论文瞄准从海量未标注视频中学习音频—视觉语义对应，用同步帧与1秒音频是否匹配的AVC自监督任务替代人工标注。核心是设计AVE-Net将图像和声音映射到共享128维度量空间用于跨模态检索，并设计AVOL-Net仅凭单帧和声音定位发声物体，避免依赖运动捷径。实验在AudioSet-Instruments上显示可进行图像/音频互检索，并在人工标注定位集上由中心基线57.2%提升到81.7%。
这篇论文针对监督视觉表征依赖人工标注的问题，提出用“计数视觉原语”构造自监督信号。核心洞察是图像缩放后计数应保持不变，而切成若干块后各块计数之和应等于整体；作者将这种等变约束转化为对比损失训练 CNN。实验显示，学到的特征能捕捉非平凡语义内容，并在分类、检测等迁移学习基准上达到或超过当时自监督方法。
针对传统基于建图/定位的导航方法假设多、计算重且难从失败中改进，而纯模型无关强化学习样本效率低的问题，论文提出广义计算图，将价值型模型无关方法与模型预测式方法统一，并实例化为从单目原始图像学习的自监督导航模型。仿真中该方法优于单步和 N 步 double Q-learning，真实 RC 车也能在约 4 小时全自主训练后学会室内避障导航。
面向未来深空机器人在未知环境中需自主适应、但传统机器学习可靠性难以满足航天安全要求的问题，论文提出持久自监督方案：用可信双目深度在线标注单目图像，学习基于 Texton-VBoW 与 kNN 的平均距离估计，作为相机故障时的冗余感知。在 ISS 的 SPHERES VERTIGO 实验中完成数据采集、双目导航与机载在线学习，被报告为首次太空在线学习机器人实验，为后续单目自主探索奠定基础。
本文针对单目人体动捕依赖逐视频优化、易陷局部最小且常需绿幕或人工初始化的问题，提出用网络预测 SMPL 三维网格与骨架，并以合成数据监督预训练，再通过关键点、分割和稠密网格运动的可微重投影损失在测试视频上自监督适配。实验在 SURREAL 与 H3.6M 上显示，该方法比固定预训练模型和直接优化基线获得更低三维重建误差，三类损失具有互补作用。
针对从零训练视觉深网依赖大规模人工标注的问题，论文利用维基百科等图文共现内容，把文章文本经 LDA 映射到主题概率空间，并让 CNN 预测图片可能出现的语义上下文，从而以噪声文本作为自监督信号学习视觉特征。实验显示，所得特征虽偏向宽泛主题，但在图像分类、目标检测和跨模态检索上达到或接近当时自监督方法的最好表现。
这篇论文面向无需人工奖励、示教或环境重置的机器人自监督操作，主张直接学习动作条件视频预测并用于视觉MPC，而非手工设计状态表征。核心做法是在视频预测模型中加入时间跳连以保存被遮挡物体外观，配合新的像素规划代价和离散/连续混合动作空间。实验显示，该方法相较先前DNA模型在长时域、遮挡和多物体推挤任务中更稳健，可操作未见过物体并绕障推送。
这篇论文针对纯2D监督表征依赖标签、难以捕捉物体三维形状的问题，提出用单视图预测完整多视角viewgrid作为自监督任务。编码器—解码器将未知类别、未知视角图像提升为可“心理旋转”的ShapeCode，从而学习跨类别的3D形状先验。实验在两个形状数据集上显示，该表示能泛化到未见类别，并在物体识别中优于多种无监督特征学习方法。
本文针对自监督视觉表征与监督预训练仍有差距的问题，指出关键不只是叠加多个辅助任务，而是如何组织不同不变性来源的数据。方法从大规模视频中构建对象图，用跨实例相似性和同实例跟踪视角变化两类边，通过传递关系挖掘更丰富的正样本对，并训练 Triplet-Siamese VGG16。无标注预训练在 VOC2007 检测达 63.2% mAP，接近 ImageNet 预训练的 67.3%，在 COCO 上 23.5% AP 也接近 24.4%，表面法线估计还优于 ImageNet 特征。
这篇论文针对卷积网络依赖大规模人工标注、而无监督方法易坍塌或难扩展的问题，提出将图像特征对齐到固定随机目标的 Noise As Targets 框架。其关键在于用随机目标、批内随机重分配、平方损失和近似匈牙利匹配避免平凡解，并可端到端训练 AlexNet 到 ImageNet 规模。实验显示，学到的特征在 ImageNet 与 PASCAL VOC 迁移任务上接近当时无监督/自监督方法，但部分效果可能主要来自 scaling 和预处理。
本文针对单目视频中深度与自运动依赖标注或传统匹配易失效的问题，提出用未标注视频的视图合成误差作为自监督信号，联合训练单帧深度网络和多帧位姿网络，并通过可解释性掩码弱化运动、遮挡等不可重投影区域影响。在 KITTI 上，单目深度接近使用真值深度或位姿监督的方法，位姿估计在相近输入条件下也优于或可比传统 SLAM。
针对视频表征难以紧凑建模长时运动依赖、而逐帧重建监督过于粗糙的问题，本文将动作分解为由 RGB-D 估计并聚类量化的原子 3D flow 序列，用 LSTM 编码器-解码器从少量输入帧无监督预测长期运动，从而迫使编码端学习时空关系。实验在 NTU RGB+D、MSR Daily Activity 3D 等数据集上验证其表征可迁移到动作分类，并优于当时多种无监督视频表征基线。
这篇论文针对人工标注昂贵、未标注视频丰富的问题，将自监督表征学习转化为“打乱帧排序”：利用视频时间连贯性，让网络通过两两帧特征比较与融合预测正确时序，从而学习动态与语义线索。作为预训练模型，该方法在 UCF-101、HMDB-51 动作识别上优于当时多种无监督方法，并在 PASCAL VOC 分类和检测上表现有竞争力，但与有监督预训练仍有差距。
该讲座关注如何摆脱人工标注来学习机器人感知与动作，动机是降低视觉表征和行为学习对监督数据的依赖。核心思路是把图像空间上下文、视频视角变化和机器人主动探索转化为自监督信号，并进一步尝试端到端动作学习。页面仅给出讲座摘要，缺少方法细节和实验结果，因此具体性能提升、增益来源及与监督学习的对比文中未充分说明。
本文针对标准 GAN 只能从潜变量生成图像、缺少将真实数据映射回语义潜空间的问题，提出 BiGAN：在生成器外加入编码器，并让判别器联合区分真实图像-编码对与生成图像-潜变量对，从对抗目标中迫使编码器与生成器互逆。实验显示其无监督特征在 PASCAL 分类、检测、分割上优于多种无监督基线，并接近当时视觉自监督方法。
本文针对人工标注昂贵而公开视频天然含有声画对应的问题，提出用环境声作为视觉表征的自监督信号：将视频帧输入 CNN，预测同期音频的耳蜗图统计摘要/聚类类别。核心洞察是声音虽与画面松散对应，却携带物体、场景和事件线索。实验显示，学到的特征在物体与场景识别上接近当时无监督/自监督方法，并出现对常伴随特征声音的物体选择性单元。
本文针对灰度图自动着色中颜色多解导致回归模型偏灰、依赖交互的问题，将 Lab 空间的 ab 通道预测改写为量化颜色分类，并通过类别重加权强调少见颜色、退火均值生成最终颜色。模型用百万级彩色图训练，着色图在图灵测试中有 32% 试次骗过人类，且该预训练任务作为跨通道自监督表示，在分类、检测、分割等基准上表现强于多种同期方法。
针对无标注图像中“先学表征还是先聚类”的相互依赖问题，JULE将凝聚层次聚类的逐步合并写成循环前向过程，并用当前簇标签通过统一的加权三元组损失反向训练CNN，使聚类监督与表征更新交替耦合。实验显示其在多种图像聚类基准上优于当时方法，学到的特征迁移到分类等任务也有较好泛化。
l Institute at Chicago
论文以灰度图自动上色作为检验视觉理解与学习表征的自监督任务，针对传统方法依赖用户标注或参考图、难处理复杂语义场景的问题，提出基于 VGG 超列特征的端到端模型，并按像素预测色相/饱和度直方图以刻画多峰颜色不确定性。实验显示其在全自动和给定全局颜色直方图的部分自动上色中均优于当时方法，同时建立 ImageNet 上色基准，并验证上色预训练可迁移到语义标注。
ficial Intelligence Research Laboratory (BAIR)
这篇论文受婴儿通过随意把玩物体形成直觉物理的启发，让 Baxter 机器人以自监督方式随机戳物体并从前后图像学习动作—状态变化关系。核心做法是联合训练逆动力学与前向动力学：逆模型塑造有用的视觉特征，前向模型在抽象特征空间预测并正则化，避免直接预测像素。机器人用 400 多小时、10 万余次戳击数据学习后，可对新形状和纹理物体进行多步推移到目标位置，实验优于若干替代建模方法。
本文针对移动机器人在可信传感器失效后仍需安全工作的需求，研究“持久”自监督学习：用双目深度持续监督单目外观距离估计，并提出让机器人逐步切换到单目控制、仅在临近碰撞时用双目作“辅助轮”的策略，以缓解反馈导致的数据分布偏移。仿真和搭载双目的 AR Drone 2.0 实验显示，该方法可在 5×5m 房间中仅凭单目视觉避障。
针对监控场景中行人检测器依赖逐场景标注、离线模型易受视角和背景变化影响的问题，论文提出无需人工框标注的场景自学习框架。其关键是把每帧目标位置作为潜变量，用渐进潜模型串联目标发现、空间正则化定位约束和图传播扩展难例，以降低部件/目标混淆并控制模型漂移。在多个监控数据集上，该方法优于弱监督基线，并达到接近迁移学习和全监督方法的效果。
针对视频标注昂贵且标签噪声影响表征学习的问题，论文提出 Odd-One-Out 自监督预训练：从多个视频片段中识别唯一帧序错误的片段，以数据自身时序结构构造监督信号，并用共享权重的多分支 CNN 端到端学习时序表征。该方法在无需外部标注、预训练模型或光流的设置下，UCF101 达到 60.3%，较当时自监督方法约高 10%，在 HMDB51 上也提升 12.7%。
论文针对视频中大量未标注时空信号如何用于表征学习的问题，提出把帧序是否被打乱作为自监督二分类任务，用共享权重的 CNN 在高运动片段上学习时间顺序验证表征。核心洞察是判断顺序需理解物体形变、相对位置和人体姿态等动态线索。实验显示，该预训练在 UCF101、HMDB51 动作识别上显著优于随机初始化，并在 FLIC、MPII 姿态估计上接近或超过部分更强监督方法；与 ImageNet 监督表征结合还能进一步提升精度。
这篇论文针对视觉表征过度依赖人工标注、而传统慢特征分析只约束相邻帧表征接近的问题，提出“稳态特征分析”：在无标注视频的连续帧组上加入高阶时间一致性正则，使特征变化方向也保持平滑可预测。实验覆盖 YouTube、KITTI 等五个数据集，在物体、场景和静态图像动作识别上优于普通监督 CNN 与一阶慢特征基线，部分结果甚至超过重监督预训练。
传统自编码器靠瓶颈重建输入，迁移表征往往较弱；本文将网络拆成两个互不共享的“半脑”，分别从一组通道预测另一组通道，再拼接特征，使模型在无标签数据上通过跨通道预测学习抽象且利用完整输入。在 ImageNet 的线性分类等迁移评测中，该方法优于多种当时自监督/无监督基线，并在 RGB-D 场景上也显示出相对基线的提升。
针对机器人自监督抓取中传感器成功/失败标签过弱、容易把不稳定抓取当作成功且单纯扩充数据代价高的问题，论文提出让学习抓取的主机器人与“对手”机器人竞争：对手通过摇晃或抢夺制造困难样本和更严格监督，迫使策略学习更稳健抓取。在 Baxter 实验中，对抗训练在新物体上优于非对抗基线，高抓力设置下成功率由 68% 提升到 80%/82%，也显示多机器人竞争可能比并行采集更有效。
论文针对视觉表征过度依赖 ImageNet 类别标注、缺少主动交互监督的问题，提出让 Baxter 机器人通过抓取、推动、戳碰触觉和多视角观察收集 13 万余物理交互样本，并以多任务共享 ConvNet 学习表征。实验显示该表征在分类上优于无外部数据训练，在实例检索 recall@1 比 ImageNet 网络高 3%，但部分增益可能主要来自交互数据规模与任务设计。
提供的正文与题名“Time-Contrastive Networks”不一致，实际内容聚焦APC仓储拣选中的6D位姿估计。动机是在杂乱、遮挡和深度缺失下实现可靠视觉；核心做法是多视角RGB-D经FCN分割、自动生成13万像素级标签，再与预扫描3D模型ICP配准。系统用于MIT-Princeton APC 2016并获堆放第3、拣选第4，另构建了7000余张人工标注测试集。
针对单目深度估计依赖昂贵、稀疏且难跨域的深度标注问题，论文把已知位姿的双目/小基线图像对用于自监督训练：CNN预测源图视差，再用几何反向 warping 重建源图，以光度误差和视差平滑作为损失，并采用粗到细跳连结构处理大视差。在KITTI上仅用约半数未标注双目数据训练，性能接近当时监督式单目深度方法。
针对人工标注昂贵下的视觉表征学习问题，论文提出把单张图像切成九宫格并打乱，让CNN通过解拼图进行自监督预训练。核心洞察是限制早期网络只看单个图块、延后跨块上下文融合，迫使模型学习物体部件外观及其空间关系；为此设计参数少于AlexNet的CFN。实验显示，该表征迁移到分类和检测任务时优于当时多种无监督/自监督方法，且训练成本低于相邻块位置预测方法。
这篇论文针对真实机器人强化学习中奖励设计成本高、稀疏终局反馈难以指导多阶段操作的问题，提出从少量人类或机器人演示视频中，利用预训练视觉网络特征无监督发现中间步骤并选择判别性特征，构造稠密感知奖励。实验在倒水、开门等真实任务上验证奖励质量，并用人手演示学得的开门奖励训练真实机器人完成复杂操作。
针对CNN表征依赖大量人工标注、无监督方法常停留在低层重建信号的问题，本文把无标签图像集构成kNN图，用循环一致性挖掘同类但外观差异大的正样本，用图上测地距离挖掘难负样本，并以这些约束训练孪生CNN。实验显示，该无监督表征在VOC 2007上接近同期方法，加入半监督训练也能提升三个分类数据集表现。
这篇论文针对传统“图像袋”学习忽略视觉与自身运动耦合的问题，主张从具身经验中学习表征：利用无标注第一视角视频及同步自运动/本体感信号，训练 CNN 特征在不同运动下呈可预测的等变变化，而非只追求不变性。实验在三个数据集上表明，该自监督表征优于既有无监督方法，并提升视觉识别与 next-best-view 预测，甚至可迁移到不同域的大规模静态场景识别。
论文针对视觉表征长期依赖大规模人工类别标注的问题，借鉴“移动中学习视觉”的生物与机器人场景，提出用移动体可免费获得的自运动/里程计信号作为自监督：训练孪生 CNN 根据连续图像对预测相机变换，再迁移其特征。实验在 MNIST、KITTI/SF 预训练及 SUN 场景识别、ImageNet 物体识别、视觉里程计和关键点匹配上表明，同等训练图像下该表征可接近或优于类别监督与慢特征基线。
全文短总结尚未生成。
全文短总结尚未生成。
本文针对人工标注抓取数据难以穷尽、多受语义偏置且小规模试错易过拟合的问题，让 Baxter 通过 700 小时、5 万次真实抓取自监督收集数据。核心做法是将抓取位置/角度预测改写为图像 patch 上的 18 路二分类，并用多阶段训练挖掘 hard negatives。实验表明性能提升可能主要来自 scaling / data 与分阶段采样，未见物体抓取率 66%，已见物体 73%。
本文针对传统聚类依赖手工特征或浅层嵌入、在高维图像/文本中距离度量失效的问题，提出 DEC：先用堆叠自编码器初始化，再在低维潜空间中以软分配构造辅助目标，通过 KL 散度和 SGD 联合优化深度表征与簇中心。实验在 MNIST、STL-10 和 Reuters 上相较 k-means 及谱聚类变体提升聚类准确率和运行速度，并表现出较低的超参数敏感性。
本文针对视频标注昂贵、时序结构难以仅靠监督学习捕获的问题，提出用多层 LSTM 编码器—解码器在无标签视频上学习固定长度表征，并通过重建输入、预测未来或二者结合来形成训练信号。实验显示，联合自编码与未来预测的组合模型效果最好，学到的表征在 UCF-101、HMDB-51 动作识别微调中提升准确率，尤其在少样本场景更明显，甚至用无关 YouTube 视频预训练也有帮助。
本文针对CNN视觉表征高度依赖大规模语义标注的问题，探索能否从公开视频中获得自监督信号。核心洞察是同一视觉轨迹连接的图像块应在深特征空间接近，据此用无监督跟踪构造三元组，并以Siamese-triplet排序损失训练AlexNet表征。在不使用ImageNet图像的情况下，100K未标注视频预训练后在VOC检测达到52% mAP，接近ImageNet监督预训练集成的54.4%，并在表面法线估计上表现有竞争力。
本文针对大规模图像标注昂贵、无监督学习缺少明确目标的问题，提出用图像内部空间上下文作为自监督信号：从同一图像采样两块 patch，让 ConvNet 预测相对方位，迫使表征捕捉物体及部件的空间结构。实验显示该表征能检索语义相近 patch，并支持在 Pascal VOC 中无监督发现猫、人、鸟等类别；作为 R-CNN 预训练时，相比随机初始化显著提升 VOC 2007 检测性能，达到仅用 Pascal 标注方法中的领先结果。
全文短总结尚未生成。
针对传统机器学习高度依赖人工特征工程、难以从感知数据中解缠潜在因素的问题，本文系统梳理表征学习与深度学习的核心思想：用多层非线性变换、概率模型、自编码器和流形假设学习更抽象且可迁移的表示。作为综述，其主要结果不是单一实验，而是归纳了语音、视觉、NLP等领域的突破性进展，并提出学习目标、推断方式与表示几何之间仍待澄清。
全文短总结尚未生成。
(1) Courant Institute of Mathematical Sciences
论文针对越野机器人依赖双目导致视野仅约10–12米、代价图稀疏且易受纹理影响的问题，提出在线自监督长距视觉：用近场双目生成视觉一致的地形标签，结合尺度归一化的大上下文图像块和深层层级特征训练实时可通行性分类器。系统在 LAGR 机器人上可识别5米到100米以上的道路与障碍，并在标注数据和实地测试中带来更平滑、更具前瞻性的导航。
针对标注样本昂贵且同类未标注数据也难获取的问题，论文提出“自学学习”：允许用与目标任务类别和分布都不同的大规模未标注数据，先通过稀疏编码学习可复用的高层基元表示，再在少量标注数据上训练分类器，并可结合 Fisher kernel。实验覆盖图像、字符、音频和文本；在 Caltech101 上稀疏编码特征显著优于 PCA 与既有基线，显示增益主要来自跨任务未标注数据学到的表示。
针对越野机器人中航拍影像/高程等远程信息潜力大但跨环境难泛化、且需与车载感知校准的问题，论文提出基于 scoped learning 的贝叶斯线性自监督在线学习，用可靠的车载激光代价估计持续监督航拍特征，预测大范围通行代价并给出置信度。实车长距离野外测试显示可扩展局部感知范围、改善路径导航；离线还可生成先验代价图并检测数据配准偏差。
ficial Intelligence Laboratory, Stanford University, Stanford, CA 94305-9010, USA
论文针对单目机器人导航中远距离地物因透视、光照和纹理尺度变化而难以及早分类的问题，提出把短程传感器或道路假设产生的自监督标签，通过反向光流追溯到目标早期、远距离的图像外观，用多尺度样本训练分割器。实验覆盖非结构化道路跟随与越野导航，显示该机制能更早识别道路/障碍并改善导航表现，但具体量化增益在给定片段中未充分说明。
针对视频理解依赖大规模人工标注、音频与视觉表征难以共同学习的问题，论文把音视频是否时间同步作为自监督任务，采用音频流与3D视频流的双流协作网络，并强调同视频错位“硬负样本”、课程学习和对比损失可迫使模型学习时序相关特征。实验显示，音频特征在DCASE2014、ESC-50上达到或接近当时最佳，视觉预训练使UCF101、HMDB51动作识别较从零训练分别提升19.9%和17.7%。
针对稀疏甚至缺失外部奖励下强化学习难以探索的问题，本文将好奇心定义为动作后果在特征空间中的预测误差，并用自监督逆动力学学习只保留与智能体动作相关的视觉表示，避免像素预测和无关随机因素带来的“好奇心陷阱”。在 VizDoom 与 Super Mario Bros 中，该方法较无好奇心 A3C、VIME 和像素预测基线更高效，能在无奖励时学到走廊行走、Mario 前进等可迁移探索行为。
全文短总结尚未生成。
本文面向脑卒中后啮齿动物抓取康复等长期视频中缺少标注、人工行为评估昂贵且难以捕捉细微姿态差异的问题，提出将基于运动初始化的FCN肢体检测、CNN姿态表征与用时间顺序/乱序判别自监督训练的LSTM序列表征联合起来，并通过回传改进单帧姿态特征。实验在带专家标注的新行为分析数据集上优于传统人工评估流程，并在Olympic Sports、Leeds等人体姿态基准上达到有竞争力的无监督表现。
针对目标检测依赖大量框标注、而额外分割等标签成本更高的问题，本文将已有 bounding box 当作可回收元数据，自动生成多目标、邻近关系和前景三类辅助监督，并与两阶段检测器联合训练及用于预测精炼。实验覆盖 Faster R-CNN、R-FCN、三种骨干和 VOC/COCO，显示该多任务自监督设计能在无需新增人工标注下稳定提升检测精度。
针对稀疏奖励 Atari 中随机探索难以发现关键状态、传统模仿又依赖同域演示及动作轨迹的问题，本文用未对齐的 YouTube 游戏视频，通过时间距离与视听跨模态自监督学习共同表征，再用单个视频在该空间中构造模仿奖励。结果显示，在无需演示动作甚至无环境奖励时，智能体在 Montezuma’s Revenge、Pitfall! 和 Private Eye 上首次明确超过人类水平。
论文针对3D点云高层场景理解中标注昂贵、从头训练占主导且预训练迁移效果不明的问题，提出PointContrast：在ScanNet复杂场景上用稀疏Res-U-Net和点级对比学习（Hardest-contrastive/PointInfoNCE）做无监督预训练，再迁移到分割与检测任务。其关键洞察是单物体ShapeNet预训练存在域差和全局表征局限，场景级、点级表征更有效。实验显示该统一预训练方案在6个室内/室外、真实/合成基准上均提升，并接近监督预训练，提示收益可能主要来自scaling/data而非精细标注。
nce Laboratory
PonderV2针对3D数据形态多样、空空间多且下游任务差异大导致统一预训练困难的问题，提出用可微神经渲染作为自监督信号：将点云/多视图等编码为神经场并渲染RGB-D，与真实观测对齐，从而迫使特征同时包含几何与外观信息。该预训练可接入不同骨干和室内外任务，在检测、分割、重建、新视角合成等超过9类任务上提升表现，并在11个基准达到SOTA。
针对点云标注成本高、海量 LiDAR/扫描数据难以直接用于监督训练的问题，论文提出一种架构无关的点云自监督预训练任务：将原始点云按体素划分并随机打乱局部空间，让网络预测点所属原始体素以“重构空间”，从而避免自编码器常用的点云相似度/重建损失。实验显示，该表征在下游分类中优于已有无监督方法，并能提升监督模型性能与少样本效率。
针对多数 360° 视频只有单声道音频、难以提供沉浸式空间声的问题，本文将单声道到一阶 Ambisonics 的转换形式化为自监督任务：用带空间音频视频的混音单声道作输入、原空间声作监督，并设计分离声源与定位声源解耦的音视频网络。作者自采并收集 YouTube 数据集，实验和用户研究显示其生成的空间音频优于 U-Net 与单声道基线，但在多重相似声源和混响场景中仍易定位错误。
针对知识图谱查询中欧氏点向量难以表达层级结构、且多只建模多跳平移而忽略交并等复杂逻辑的问题，本文将表征学习转化为自监督的一阶存在逻辑查询推理，提出 HypE，在 Poincaré 球中用带动态大小的双曲面表示实体和关系，并以几何平移、交、并处理查询。实验显示其在多种真实知识图谱推理上优于既有方法，并在电商分类与网页层级的异常检测中带来明显提升。
针对可穿戴人体活动识别标注数据稀缺、深度模型难以泛化的问题，论文用 UK Biobank 超 70 万人日无标注三轴加速度数据做自监督预训练，联合时间反转、片段置换和时间扭曲任务学习运动时序表征。模型在 7 个外部数据集上稳定优于强基线，F1 相对提升 2.5%–100%、中位数 18.4%，小样本场景收益最大；但增益可能主要来自大规模真实数据 scaling。
异构网络中的节点常被学习成与任务无关的静态向量，难以服务依赖特定局部语义的链路预测。论文提出 SLiCE，将全图静态表示与子图级注意力结合，通过掩码节点的自监督预训练学习高阶语义关联，并在下游任务中动态平移节点嵌入，无需人工预定义元路径。实验显示其在多个公开基准上优于静态和已有上下文化嵌入方法，并分析了可解释性、上下文学习效果与可扩展性。
针对三维点云缺乏统一表示、标注成本高且自监督预训练难迁移的问题，本文把点级分割网络的输出解释为对空间的软几何划分，并由此隐式参数化潜在 GMM，用输入点云似然作为自监督损失，避免依赖破坏几何的增强或固定拼图分区。该任务可复用任意点级分类架构，实验显示学到的特征能自然形成语义分离，并在模型分类和语义分割等下游任务上达到当时领先表现。
为降低视觉跟踪对大规模人工标注视频的依赖，论文把视频上色设计为自监督信号：模型不能直接预测颜色，而需从彩色参考帧中通过相似度“指向”对应区域并拷贝颜色，使该指向机制自然形成跟踪器。训练仅用未标注公开视频，测试时无需微调即可迁移到视频分割和人体关键点跟踪，并在若干指标上优于基于光流的方法；文中还观察到跟踪失败与上色失败相关。
针对仅靠 RGB 视觉蒸馏易受光照、天气影响，且以往声源定位多限于静态相机和单目标的问题，论文提出自监督 MM-DistillNet：用 RGB、深度、热成像多教师产生伪框，并通过 MTA 损失把多模态检测知识蒸馏到音频学生网络，推理时只需麦克风阵列即可在图像坐标中检测和跟踪多车。作者还构建 11.3 万帧同步多模态数据集，实验显示其优于既有方法并可在运动场景工作。
针对传感器网络中大量有时间戳但无标注的单模态音频难以利用的问题，TriCycle将录音时间折叠为日、周、年三个周期相位，训练网络从音频和位置预测长期循环结构以学习嵌入。在SONYC城市声音标注中，其优于随机特征；结合高活动采样与PCEN后AUPRC接近L3-Net，F1略高，但尚未稳定超过多模态基线，增益依赖前景事件强化。
论文针对物体外观受视角、形变、遮挡等因素干扰，难以从无标注图像中获得内在几何结构的问题，提出密集等变图像标注框架：将每个像素映射到共享的物体中心低维坐标系，并指出仅有等变性不足，还需嵌入的可区分性，配合不确定性建模和鲁棒几何损失训练 CNN。实验显示该方法可在合成机械臂、球体和真实人脸上无监督学习到跨形变、跨实例一致的密集几何嵌入。
论文针对人工标注昂贵且难以覆盖视觉相似性的局限，探索“超越人工标注”的表征学习。核心洞察是用廉价弱监督或无标注预文本任务替代目标标签：如用 GPS 区分城市来发现中层判别性图像块，或预测图像块上下文来学习特征。结果显示，这些方法能自动挖掘阳台、路牌等地理/场景元素，并学到可迁移到目标检测、几何估计等任务的视觉表示。
该文针对主动双目系统难以获得真实深度标注的问题，提出端到端自监督的 ActiveStereoNet。核心在于用对噪声、弱纹理和光照变化更稳健的重建损失，结合自适应支持权重的窗口代价聚合来保持边缘并平滑优化，同时自监督学习遮挡等无效区域。实验在真实与合成场景中达到约 1/30 像素亚像素精度，并改善深度不连续处的模糊问题。