精读笔记
Problem Setting
这篇论文真正解决的不是 rPPG 的基本监督回归，而是 rPPG 表征学习中的错配问题：视觉视频里最容易学到的是身份、肤色、纹理、光照、运动和压缩伪影，而目标信号却是低幅度、准周期、跨帧积累才显现的生理变化。以前的自监督路线多靠 masked reconstruction 或低层一致性，目标函数会自然偏向高能量视觉成分；以前的 Mamba/时序模型虽然能处理长序列，但 scan order 仍然默认时间邻近性是主要结构。这个任务的关键矛盾是：生理信号在时间上连续，但其最有判别力的依赖往往跨周期出现；如果只按时间顺序建模，模型可能捕捉到运动连续性而不是相位重复。
Motivation
作者的核心观察是，rPPG 的 latent dynamics 更像一个循环相位过程，而不是普通视频动态。已有路线缺的是两个东西：一个是不重建外观、而直接对齐潜在生理表示的预训练目标；另一个是能把“相同脉搏相位但时间相隔很远”的帧组织到一起的时序结构。JEPA 被引入是为了避免像素重建的错误激励，CRSP/DOM 被引入是为了让序列模型看到周期性 recurrence，而不是只看到 chronological continuity。动机是合理的：rPPG 的可泛化因素本来就更接近相位、频率和波形关系，而不是视觉外观。
Core Idea
核心思想可以概括为：把人脸视频中的弱生理过程显式投影到一个 rhythm-structured latent space，再在这个空间中做预测和序列扫描。与其要求模型从 masked RGB 复原图像，RhythmJEPA 要求 masked clip 的 student 表示去预测 unmasked clip 的 EMA teacher 表示；与其让 Mamba 沿原始时间轴扫描，它额外构造一个按隐式 rhythm state 排序的序列，使跨周期同相位帧在扫描路径上变近。
这改变了建模方式：prior 通常把视频看成 temporal sequence，这篇把它看成 temporal sequence + cyclic state sequence 的叠加。新增的 inductive bias 是“相位等价性”：相隔多个周期但处于相同生理状态的帧应该共享信息。这个 bias 比单纯增加模型容量更有意义，因为它直接对应 rPPG 的信号结构；如果成立，它也更可能提升跨域泛化，因为相位结构比摄像头、肤色和背景更稳定。
Method
方法上应关注机制而不是模块名。第一，latent predictive pretraining 解决的是目标错配：RGB reconstruction 对 rPPG 太容易走向 appearance modeling，JEPA-style embedding prediction 至少把学习压力从像素细节转移到时序语义/生理相关表示。第二，CRSP 解决的是相位不可观测：它从 frame token 估计离散状态，并用只能 stay 或 advance 的 cyclic grammar 约束路径，避免每帧独立分类导致的相位抖动。第三，state-ordered scan 解决的是跨周期依赖难以被 chronological scan 聚合：排序后，同状态帧成为邻近 token，Mamba 的状态传播更容易复用相似相位信息。第四，dual-order fusion 保留时间连续性，因为纯 state ordering 会破坏真实波形的局部演化。SPM 的作用主要是轻量化和 spatial denoising，把注意力压到脸部 pulse-informative 区域；它重要但不是论文的本质创新。
Key Insight / Why It Works
最可能有效的部分是 rhythm-state reordering，而不是 JEPA 或 Mamba 本身。Mamba 的能力依赖 scan order；如果 scan order 只编码时间，模型学到的是局部动态和长期记忆，但不一定学到周期相位对齐。把 token 按 latent state 排序，本质上是在做一种 soft phase-based retrieval/memory reuse：让当前帧能够通过序列传播访问其他周期中相似相位的证据。这比普通 long-range modeling 更贴近 rPPG，因为脉搏信号的重复性正是可利用的结构。
JEPA 的作用更像 representation alignment + curriculum：高 mask ratio 迫使 student 依赖剩余时间上下文预测 latent target，从而减少直接复制外观的路径。但文中没有证明 teacher embedding 已经是 physiology-pure，因此“生理感知表示”仍是推断而非事实。CRSP 的 constrained DP 是另一个关键 inductive bias：它不让状态任意跳，等于把心动周期的单调相位推进写死进模型。这个设计在正常稳定心率视频中很合理，但在强心率变化或异常节律下可能成为硬约束。
我会把贡献归因为 better inductive bias + latent structure + memory reuse，而不是 scaling。SPM 和轻量 FFE 是 engineering 上必要的效率设计；JEPA 是已有思想迁移；真正新的部分是把 rhythm state planning 和 scan order coupling 到 rPPG temporal modeling 里。所谓 planner 不应被理解成高级 reasoning，它更像受约束的隐相位解码器。
Relation To Prior Work
它最接近三条线的交叉：rPPG masked/self-supervised pretraining、periodicity-aware rPPG、Mamba/SSM temporal modeling。与 rPPG-MAE、MaskFusionNet 的本质区别是目标从重建输入转为预测 latent teacher embedding；这不是原创范式，而是把 I-JEPA/VideoJEPA 的思想迁移到 rPPG。与 RhythmMamba、PhysMamba 等 Mamba rPPG 的区别在于 scan order：prior 主要把 Mamba 当高效时序模块，这篇把 scan path 本身变成生理结构编码。与 RhythmFormer/periodic attention 的区别是，它不只是用注意力或频域 prior 找周期，而是先解码隐状态，再用状态顺序重排序列。
看似新的地方包括 JEPA、SPM、BiMamba 堆叠，其中大多是已有组件重组。实质创新在于 CRSP + DOM 的耦合：先构造隐式循环状态，再用这个状态改变序列模型的信息流。这一点确实比单纯加周期 loss 或多尺度 temporal block 更有结构性。
Dataset / Evaluation
评估覆盖了常见 rPPG benchmark，并包含 intra- 和 cross-dataset 测试，基本能验证它在标准离线设置下优于一批代表性 baseline。MMPD 的加入使 claim 比只在 PURE/UBFC 上更可信，因为它包含更复杂的移动端和域变化。但这些 benchmark 仍不足以完全支撑“真实世界鲁棒性”或“生理表示泛化”的强 claim：数据规模小，采集协议有限，预处理统一依赖 face detection/cropping，测试仍是离线 clip-level 估计。
Ablation 比主表更有说服力：dual-order scan、CRSP 约束、JEPA pretraining 都有独立贡献。但文中没有充分拆开 FFE、SPM、训练策略、预训练数据量、Mamba 容量和 rhythm ordering 的相对贡献；因此增益来源仍不完全清晰。跨数据集结果支持泛化趋势，但不能排除 benchmark overlap、相似 subject/activity distribution、或实现细节优势。
Limitation
核心前提是 rPPG 信号在 clip 内可以被离散成少数稳定循环状态，并且状态转移近似单调前进。这个前提在标准静息/轻运动数据上成立，但在心率快速变化、强运动伪影、光照突变、低帧率、rolling shutter、压缩噪声或异常节律中可能失效。K=4 的状态划分也偏粗，文中未充分说明它是否对应真实 systole/diastole 相位，还是只是模型内部的排序标签。
另一个限制是问题被部分转移到了 teacher embedding 和 planner 上：如果 teacher 表示仍然编码外观，JEPA 只是在 latent space 重建外观；如果 planner 状态被运动周期或照明闪烁牵引，state-ordered scan 会系统性放大错误关联。所谓 rhythm planning 更像 constrained decoding，不是可解释的生理推理。泛化能力也可能主要来自数据覆盖和强预处理，而非真正学到了 domain-invariant physiology。真实部署还需要处理多人、遮挡、肤色公平性、摄像头自动曝光、在线延迟和质量控制，这些在论文中基本未被验证。
Takeaway
- 最值得记住的不是 JEPA 名字，而是 scan order 可以成为 rPPG 的核心 inductive bias：对周期信号，改变 token 邻接关系可能比换更大的 temporal backbone 更有效。
- 第二，masked pretraining 用于 rPPG 时不应默认重建像素，目标空间必须尽量远离 appearance。
- 第三，隐式相位状态是一个有迁移价值的中间表示，可以推广到呼吸、步态、周期性动作、机械振动等弱周期视觉信号。
- 第四，未来真正值得做的是让 rhythm state 可解释、可校准、能处理非平稳节律，而不是继续堆更复杂的 Mamba/Transformer block。
一句话总结
RhythmJEPA 是一篇把 JEPA 式 latent prediction 与隐式相位重排结合到 rPPG 的结构化表征学习工作，真正贡献在于把序列建模从 chronological continuity 推向 rhythm-state recurrence，而不是单纯提出一个更大的时序网络。