精读笔记

Problem Setting

Object-centric LeJEPA 处理的不是传统意义上的检测或分割问题，而是自监督视觉预训练中的表征单位错配问题。图像级 SSL 把一张图当作一个语义实体，但真实图像是多个对象和上下文的组合；随机 crop 后两个 view 可能共享很少对象，却仍被当作同一正样本。这会迫使 encoder 依赖全局语义和场景统计来满足对齐，从而牺牲 patch-level object binding。以前 object-centric 方法卡在另一个地方：要学对象表征必须先有对象划分，要学对象划分又需要已有对象表征。Slot / grouping 类方法在合成或简单场景可行，但真实自然图像上若不用冻结大模型特征通常不稳定。本文的关键矛盾是：想要对象级 SSL 的组合泛化，但又不想让对象发现的不稳定性拖垮从零训练的表征学习。

Motivation

作者观察到 image-level alignment 的正样本定义过粗。整图增强视图共享的是 image identity，不一定共享 object identity；在多对象场景中，这个正样本会把本该分开的对象、背景和上下文混在一起。对象级学习的诱惑在于它把可复用的视觉单元显式暴露给预训练：同一对象跨 view 对齐，不同对象不必被迫一致。已有路线不够的原因也很清楚：端到端 object-centric learning 需要同时学 partition 和 representation，真实图像上冷启动困难；基于 frozen foundation features 的 slot 方法虽然稳定，但表征空间被上游模型限制。本文要补的缺口是：给可训练 encoder 一个外部稳定对象划分，让 representation learning 先摆脱 partitioning 的循环依赖。

Core Idea

核心思想是把 LeJEPA 的样本单位从 image 改成 object。每个 SAM mask 定义一个训练中的对象实例；增强视图中只要同一对象仍可见，就对齐它的 object representation；anti-collapse 也不再作用于 batch 中的图像 embedding，而作用于 batch 中所有对象 embedding 的分布。这改变了建模方式：训练分布从 scene distribution 转成 object distribution，正样本关系从“同一张图”变成“同一对象在不同 view 中的出现”。直觉上这会提高数据效率，因为模型不必在每个新场景里重新学习对象，而是可以复用跨场景出现的对象结构。

本质区别在于它没有试图端到端发现对象，而是承认对象划分在当前阶段是瓶颈，并用外部 hard masks 注入 objectness prior。这个 prior 很强：它把 patch assignment 离散化，避免 soft slot 中对象信息互相泄漏，同时允许 backbone 从零适配对象级目标，而不是在 frozen feature space 里重新组合已有特征。它引入的 inductive bias 是“图像由可分对象组成，对象是对齐单位，patch 应知道自己属于哪个对象”。

Method

方法层面最关键的是三种约束如何分工。

第一，SAM2 mask 负责定义训练中的对象边界和正样本索引。它解决的是 object-level SSL 的正样本不可得问题；没有它，跨 view 同一对象无法可靠匹配，训练会回到 slot discovery 的不稳定循环。

第二，object-centric LeJEPA 负责形成语义空间。mask 内 patch 被聚合成对象 representation，同一对象跨增强视图对齐；SIGReg 防止所有对象 embedding 坍缩。这里的核心变化是：LeJEPA 的分布正则不再看整图 embedding，而看可变数量的对象 embedding，因此 batch 中的学习样本密度显著提高。

第三，instance-level contrastive loss 负责把对象成员关系压进 patch features。它在同一 view 内把同一 mask 的 patch 拉近，把其他对象和背景作为负样本。这个 loss 解决的是纯 object alignment 可能过度语义化的问题：两个同类对象应该语义相近，但在 tracking / re-id 中仍必须可分。

需要注意，semantic head 与 instance head 不是两个独立能力的完整解耦；它们更像两种训练压力共同塑造同一个 backbone。文中没有证明这两个目标不会冲突，只是实验上组合有效。

Key Insight / Why It Works

最重要的 insight 是：数据效率增益很可能来自训练样本单位的重定义，而不是来自某个复杂模块。图像级 SSL 中一个 batch 有 B 个粗粒度样本；这里一个 batch 变成 B 乘以对象数的结构化样本，并且每个样本带有更少上下文噪声。对象 mask 同时提供了局部化、正样本匹配和负样本划分，因此学习信号的信息密度比 image-level alignment 高得多。

真正有效的核心贡献应是 hard object partition + object-level alignment 的组合。SAM mask 给出离散对象边界，LeJEPA 给出无需显式负样本的 anti-collapse 对齐框架；两者结合后，模型既不需要 teacher-student trick，也不需要 slot discovery 在训练早期就正确。instance separation 是重要辅助，尤其对 tracking、instance probing、re-id 有明显作用，但它更像把 mask membership 显式蒸馏进 patch features，而不是新的 object-centric learning 原理。

这不是单纯 scaling。相反，它是在用外部结构先验替代更多数据：10% COCO 达到 image-level LeJEPA full-data 水平，说明主要收益来自 better inductive bias 与更高效的 representation alignment。但也不能忽略 hidden supervision：SAM2 本身来自大规模训练，mask proposal 携带了强 objectness prior。论文把“人工标注成本”降下来了，但没有把“外部视觉先验”降到零。

NAVI 上 semantic object representation 不如 mask-pooled patch features 是一个很有信息量的现象：聚合出来的对象 slot 更适合类别语义，可能吸收上下文；而局部 patch average 更保留实例细节。这说明论文声称同时编码 semantic 与 instance information 是成立的，但二者并没有在一个 representation 中完全统一。实际使用时仍要选择读出方式。

Relation To Prior Work

它处在 region/object-level SSL、LeJEPA、object-centric learning 三条线的交叉处。和 DenseCL / VICRegL 这类 dense SSL 相比，它不是只对齐局部 patch 或区域，而是用 mask 明确定义对象级样本。和 DetCon / ODIN 等 region pooling 方法相比，它的新增点在于使用 LeJEPA/SIGReg 的分布式 anti-collapse，并显式加入同图实例分离。和 SlotMIM / Slot Attention 路线相比，它放弃学习 partition，换来 hard assignment 和端到端训练 backbone 的自由度。

看似新颖的部分里，mask proposal、region pooling、contrastive instance separation 都不是全新思想；真正的实质创新是把 LeJEPA 的统计 anti-collapse 目标自然迁移到 variable-sized object sets，并把外部 hard masks 当作训练时 scaffold，使从零训练的 encoder 学到对象中心 patch geometry。它更像是一种 pragmatic object-centric SSL：不追求纯粹无监督对象发现，而是用便宜外部分割器把表征学习问题重新设定到更干净的坐标系里。

Dataset / Evaluation

评估覆盖得比较宽：图像分类、语义分割、实例聚类、视频 label propagation、对象 re-id 都用 frozen features，能检验最后层 patch geometry 是否真的更对象化。跨 COCO 预训练到 ADE20k、DAVIS、NAVI、ImageNet，至少说明不是只在同一数据集上过拟合 mask 边界。dataset-size ablation 是最关键证据，因为它直接对应“对象级训练更数据高效”的核心 claim。

但 evaluation 仍有边界。首先，没有真实 deployment 或机器人闭环任务，所谓 relational reasoning / temporal dynamics 只停留在动机层面。DAVIS label propagation 和 NAVI re-id 本质上仍是 frozen-feature nearest-neighbor / retrieval 能力测试，不等于长期状态建模。其次，DINOv3 作为大规模 upper bound 合理，但其训练数据覆盖不透明，和 NAVI / ImageNet 的 overlap 无法排除。再次，SAM mask 在 COCO 上生成，COCO 本身对象定义清晰；若换到医学、遥感、拥挤场景、非物体纹理区域，claim 是否成立文中未充分说明。

Limitation

最根本限制是方法把 object discovery 问题转移给 SAM2，而不是解决它。训练过程依赖固定、离线、不可学习的 mask proposal；如果 mask 漏检、过分割、合并多个实例，正负样本关系会系统性错误。所谓 self-supervised 在这里更准确地说是 label-free but mask-supervised-by-foundation-model。

scalability 上限也来自 mask pipeline。预生成 mask、每图最多 64 个对象、对每个 view 投影和聚合，这些在 COCO 规模可行，但在 web-scale 或视频规模上会变成明显工程成本。作者声称 mask cheap，但相对于纯 image-level SSL，它仍引入额外离线计算与存储。

增益归因不完全清晰。Object alignment 单独已经提升很多，instance separation 单独也很强，组合最好；但到底是 object-level positive、hard mask boundary、更多有效样本、SAM prior，还是 contrastive dense supervision 在起主要作用，仍未完全拆开。GT mask 不一定优于 SAM mask 也提示：收益不只是“更准确对象边界”，可能来自 SAM proposal 的粒度、多样性或偏差。

还有一个上限是 semantic 与 instance 的冲突没有被原则化建模。两个 loss 共同作用于一个 backbone，可能在任务间形成折中；ImageNet 上 alignment-only 略好，NAVI 上 patch average 好于 object slot，都说明统一表征并不自动同时最优。

Takeaway

• 第一，object-level SSL 的关键不一定是更复杂的 grouping architecture，而是先把训练样本单位从 scene 改成 object；这个重定义本身就能显著提高监督信号密度。
• 第二，外部 mask generator 可以作为 representation learning 的 scaffold：训练时提供结构先验，推理时丢掉。
• 这是一个很实用的范式，类似用 foundation model 生成中间监督，但不冻结最终 encoder。
• 第三，hard assignment 对 object-centric representation 很重要。

一句话总结

Object-centric LeJEPA 是一篇把 LeJEPA 从图像级预训练推进到对象级预训练的务实工作，其真正贡献不是发现对象，而是用外部 hard masks 重写 SSL 的对齐单位，从而以强 objectness prior 换取更高数据效率和更对象化的最后层特征。