精读笔记
Problem Setting
[Learning Probabilistic Embeddings for Unsupervised Action Segmentation]（arXiv preprint / 2026）
这篇论文面对的是无监督长视频时序动作分割里一个很具体的瓶颈：当前强基线大多采用 representation learning + OT clustering 的交替优化范式，但这个闭环高度依赖早期伪标签质量。真正困难不是简单地把帧聚类，而是在 action order 可变、动作可重复、segment 长尾、短动作和背景混杂的情况下，OT 生成的 assignment 很容易落入局部最优。
以前方法主要在 OT formulation 上做文章：放松 fixed ordering、引入 unbalanced constraint、增加 frame/segment/action 多层反馈、做 video-to-video alignment。但这些方法默认每帧只有一个 deterministic embedding。问题在于：如果当前 embedding 已经把两个动作混在一起，OT 会给出相应错误 pseudo-label；之后 cross-entropy 又会把这个错误 assignment 进一步写进 embedding。关键矛盾是：无监督 segmentation 需要稳定的结构先验，但过强的稳定性会让模型过早固化错误结构。
Motivation
作者的动机不是“概率 embedding 更优雅”，而是指出 deterministic representation 在 EM-like pseudo-label training 中缺少探索空间。ASOT 这类方法每轮都用当前 embedding 计算 cost，再用 OT 得到 pseudo-label，然后把 pseudo-label 当 target 训练；这在无监督 setting 下等价于不断强化当前解释。如果当前解释错了，模型没有机制主动摆脱。
核心观察是：伪标签噪声不是外部噪声，而是由模型自身产生并被模型自身吸收的闭环噪声。因此需要在 representation-to-assignment 之间加入某种不确定性，使 OT 在训练中看到多个 plausible assignment，而不是每个 epoch 都围绕同一个 point estimate 收缩。关键缺口是 representation 层的 uncertainty-aware exploration，而不是再堆一个更复杂的 OT solver。
Core Idea
论文的核心思想是把每帧 embedding 从一个确定向量改成一个条件 Gaussian：网络不直接输出 z_i，而是输出 μ_i 和 σ_i；训练时从 N(μ_i, diag(σ_i^2)) 中采样 z_i，再用采样后的 embedding 去计算 OT cost 和 pseudo-label。这样，OT 不再只基于一个固定表示做 assignment，而是在局部 embedding neighborhood 内反复采样，形成一种 stochastic pseudo-label generation。
本质区别在于，它改变的是自训练闭环的信息流：prior work 是 deterministic embedding → OT pseudo-label → CE 更新 embedding；PEOT 变成 distributional embedding → sampled embeddings → 多个 OT pseudo-label → expectation-style CE。这个变化引入了两个 inductive bias：第一，uncertain frame 不应过早被压到单一 action prototype；第二，局部时间邻域中的 frame uncertainty 应该相互约束。直觉上这会让模型在早期容忍 ambiguous assignment，在后期随着 σ 收缩逐渐稳定，因此更不容易卡在早期局部最优。
Method
方法层面真正必要的机制只有三部分。
第一，Gaussian frame embedding 解决的是 deterministic pseudo-label overconfidence。每帧不再只有一个 embedding 点，而是一个局部分布；OT assignment 因采样而产生轻微变化。它带来的核心变化不是表达能力增加，而是优化路径被扰动，错误伪标签不再每轮以完全相同形式被强化。
第二，uncertainty-based cross-entropy 解决的是如何训练这个分布。作者没有对 OT 做端到端可微分，而是用 Monte Carlo sampling 近似 E_Z[L_ce]。这保持了 ASOT/VASOT 的训练框架，同时让 loss 对多个 sampled pseudo-label 求平均。机制上看，这是在 pseudo-label EM 中加入一种 learned stochastic smoothing。
第三，用 GCN 预测 μ 和 log σ² 解决的是逐帧不确定性估计不可靠的问题。若只用 MLP，每帧的方差估计缺少 temporal context，容易变成普通噪声注入；GCN 通过局部相邻帧和 feature-similarity weighted adjacency，把 uncertainty 估计绑定到短程 temporal coherence。核心变化是：不确定性不是 isolated frame attribute，而是由局部时间结构共同决定。
Key Insight / Why It Works
最可能真正有效的部分不是“概率 embedding”这个表述本身，而是在 OT pseudo-label 自训练中延迟 representation collapse。ASOT 类方法的问题是 loss 可以下降但 MoF/F1 停滞，说明模型在优化一个自洽但错误的 assignment。PEOT 的采样机制使模型不能太快把每帧锁死到单一 prototype，因此有机会在后续 epoch 重新组织 segment-level structure。补充材料里“PEOT loss 更高但指标继续提升”的现象很关键：它说明 lower training loss 在这里反而可能对应更强的 pseudo-label overfitting。
第二个有效因素是 better temporal inductive bias。GCN 并不是主要创新，但它很可能承担了相当一部分增益：局部 graph smoothing 让短时间邻域内的 μ/σ 更一致，同时 weighted adjacency 避免简单卷积的固定平滑。TCN 不如 GCN 的结果支持这一点，因为 GCN 的边权依赖输入特征，而不是固定 kernel。这里的本质不是 graph learning 很强，而是 uncertainty 估计需要 local context。
第三，方法有明显 stochastic regularization 成分。作者比较了固定 Gaussian noise 和 dropout，PEOT 更好，说明 learned uncertainty 比无结构噪声更有效；但增益来源仍不完全干净。它可能并不是真的学到了可解释的 aleatoric uncertainty，而是在学习每个 frame/region 需要多少扰动才能帮助 OT 跳出坏 basin。换句话说，这更像 optimization-aware uncertainty，而不是严格概率建模。
我会把这篇的贡献归类为 representation alignment + curriculum-like exploration，而不是 scaling、retrieval、memory reuse 或 test-time compute。它没有引入更大数据、更强 backbone 或复杂 planner；主要作用发生在训练动态上。最值得注意的是：它把“伪标签质量”问题从 OT solver 本身转移到 embedding distribution 的形状上，这个转移是有意义的。
Relation To Prior Work
最接近的是 ASOT/VASOT/CLOT 这条 OT-based unsupervised action segmentation 谱系。ASOT 解决固定 ordering 和 balanced assignment 假设，VASOT 用 video-to-video alignment 扩展结构约束，CLOT 用多层 OT 和 cross-attention 增强 frame/segment/action 反馈。PEOT 不试图设计更强的 assignment objective，而是修改 assignment 前的 representation 形式。
和 probabilistic embedding 文献相比，这篇的新意不在 Gaussian embedding 本身。Gaussian word/image/face embedding 都已有，reparameterization 也不是新东西。实质创新在于把概率 embedding 放进无监督 action segmentation 的 OT-EM 闭环中，让 embedding uncertainty 直接影响 pseudo-label generation。这和 supervised probabilistic embedding 用 KL/contrastive objective 学相似度不是一回事。
看似新的部分中，GCN、Monte Carlo CE、diagonal Gaussian 都是已有组件重组；真正新增的信息是：在无监督时序分割里，representation stochasticity 可以比继续复杂化 OT 更有效、更便宜。它属于“改造自训练动态”的方法，而不是“提出新分割模型”的方法。
Dataset / Evaluation
评估覆盖了 Breakfast、YTI、50Salads、Desktop Assembly，基本覆盖了该方向常用 benchmark：有 cooking、instructional、assembly，不同程度包含 order variation、重复动作、短 segment、背景。对核心 claim 来说，这些数据足以证明 PEOT 对标准 OT-based benchmark 有稳定增益，尤其是把同一 probabilistic embedding 插到 ASOT 和 VASOT 上都能提升，这比只报 SOTA 表更有说服力。
但 evaluation 仍然是典型 offline benchmark 验证。它依赖预抽取特征、每个 activity 的 ground-truth action 数 K、统一 activity-level Hungarian matching，并没有测试 unknown K、open-vocabulary action、跨数据集迁移、online segmentation 或真实部署场景。也就是说，实验验证的是“在标准 closed-set unsupervised segmentation protocol 下，probabilistic embedding 改善 OT pseudo-label training”，而不是更广义的无监督时序理解能力。
mIoU 上并非全面占优也值得注意。PEOT 更强地提升 MoF/F1，说明它可能更擅长改善主段落对齐和 segment-level consistency，但对 class-wise coverage 或小类 IoU 的提升不稳定。若 claim 是“更好建模 uncertainty”，那么 mIoU 不稳定意味着 uncertainty 对 rare/short class 的帮助仍有限。
Limitation
最大隐含前提是 K 已知。无监督 segmentation 里知道每个 activity 的 action 数本身就是很强的 protocol assumption；如果 K 错了，Gaussian embedding 只能在错误 prototype 数量下扰动 assignment，不能解决模型容量和动作粒度错配。
第二，方法依赖预抽取视频特征。论文没有证明在现代 end-to-end visual backbone 或更强 foundation features 下，probabilistic embedding 仍然带来同等增益。若 backbone 已经高度 separable，采样可能只剩 regularization；若 backbone 很差，σ 可能无法弥补 feature space 本身不可分。
第三，uncertainty 的语义不充分。文中显示错误帧 uncertainty 往往更高，但也承认部分错误帧低 uncertainty。说明 σ 不是可靠校准的不确定性估计，更像训练过程中有用的扰动尺度。若要把它用于 active learning、failure detection 或 downstream confidence，当前证据不足。
第四，增益归因仍有混叠。PEOT 同时加入 GCN、learned variance、sampling、多次 OT pseudo-label averaging。虽然 ablation 尝试拆分，但 GCN temporal smoothing 与 probabilistic exploration 的交互非常强。增益来源不清：到底是更好的 local temporal representation，还是 stochastic EM，还是两者共同造成的 regularization。
第五，scalability 上限来自 OT 和 sampling。作者说 M 很小、训练只慢约 2 秒/epoch，但这是在固定采样帧数和标准 benchmark 上。长视频全帧、更大 K、多活动联合建模时，M 次 OT 仍可能成为瓶颈。方法没有从根本上解决 OT-based segmentation 的计算和超参敏感性。
Takeaway
- 1. 对 OT/self-training 类无监督分割，最危险的不是 assignment objective 不够复杂，而是 deterministic representation 太早相信自己的伪标签；延迟 collapse 是一个可迁移 insight。
- 2. Probabilistic embedding 在这里的价值主要是优化动态控制，而不是概率语义本身。
- 未来更值得做的是把 uncertainty 和 pseudo-label generation 的可微分、校准、adaptive sampling 结合起来。
- 3. 局部 temporal context 对 uncertainty estimation 很关键。
一句话总结
这篇论文在 ASOT/VASOT 这类 OT-based 无监督动作分割框架中引入 distributional frame embedding，本质贡献是用 learned uncertainty 改善伪标签自训练的优化动态，而不是提出一个全新的分割范式。