精读笔记

Problem Setting

这篇论文实际处理的是临床面部表情质量评估中的“可量化但不可审计”问题。FEQA 过去已经能回归 MDS-UPDRS 类 severity score，但分数本身会丢失关键证据：同一分数可能对应完全不同的面部区域参与、运动幅度、对称性和恢复模式。真正困难点是，模型需要同时捕捉细粒度时序运动并把它转化为临床可读证据，而不是只输出一个 ranking-friendly scalar。

以前方法卡在两个方向：传统 FEQA 有运动建模但没有 evidence reporting；通用 VLM 有语言能力但缺少对低幅度 facial motor pattern 的可靠 grounding。任务的关键矛盾是：语言生成需要丰富、可读、结构化表达，而 severity prediction 需要稳定、压缩、对评分敏感的运动表征；二者如果直接联合优化，很容易互相干扰。

Motivation

已有路线缺的不是更漂亮的解释可视化，而是可审计的 clinical observation layer。Saliency map 对临床审计价值有限，因为它只能告诉你模型看了哪里，不能告诉你“眼睑收缩是否充分、嘴角是否对称、动作后是否恢复”。单纯让 VLM 解释也不够，因为 VLM 的语言流畅性会掩盖 evidence grounding 的缺失。

作者的核心观察是：FEQA 的解释应该更像“结构化观察记录”，而不是“模型决策理由作文”。因此需要一个数据层面的补全，即 PFED5+ 的 expert-guided motion descriptions，也需要一个模型层面的约束，即将运动证据显式 token 化并限制语言梯度对运动表征的破坏。

Core Idea

核心思想可以概括为：先学习一个对 clinical score 有用的 motion-aware latent，再让 LLM 在这个 latent 上做受约束的 evidence verbalization。TraMP-LLaMA 并不是简单把 VideoLLaMA3 接一个回归头，而是把 RGB appearance、landmark trajectory 和 fusion summary 组织成不同粒度的 evidence token；score branch 只依赖融合后的运动-外观表征，report branch 则消费视觉 token、轨迹 token 和融合 token。

它改变的建模方式在于：解释不再是 score prediction 的事后附属物，而是和评分并行产生的结构化输出；但优化上又不让语言生成反向支配评分表征。这个设计的 inductive bias 很强：临床评分应由运动特征驱动，报告应由同一运动证据派生。相比 prior，它更 scalable 的地方不在架构，而在把“分数 + 文本证据”变成一种可扩展数据格式；一旦有更多疾病、动作、区域 schema，可以继续扩展成更大规模的 clinical motion-report corpus。

Method

方法层面真正必要的机制有四个。

第一，PFED5+ 的结构化标注解决监督缺口。报告不是自由 caption，而是按 pre-action / in-action / post-action 和局部面部区域组织的 observation。它让生成任务从开放式解释变成受控 evidence reconstruction，降低 hallucination 空间。

第二，landmark trajectory stream 解决通用视频 token 对细微面部运动不敏感的问题。这里的关键不是 SkateFormer 这个具体模块，而是显式把几何轨迹作为 motion prior 注入，使模型不用完全从 RGB token 中推断低幅度运动。

第三，cross-fusion 把 RGB appearance 和 trajectory motion 压成紧凑的 score representation。它的作用是把视觉上下文和运动动态对齐到一个评分友好的 latent，而不是把长序列全部交给 LLM。

第四，stop-gradient decoupling 是核心训练机制。text loss 只训练 LoRA 和投影层，不更新 motion encoder / fusion；score loss 只训练评分相关模块，不更新 LLM。这个设计把“证据共享”和“梯度共享”拆开，是论文真正的技术判断。

Key Insight / Why It Works

最关键的 insight 是：在这种临床细粒度任务里，语言监督不一定是 representation learning 的正则，反而可能是噪声源。文本报告为了匹配模板和表述，会推动表征保留 surface-form 相关信息；而 severity regression 需要的是对评分单调性敏感的运动特征。直接 multi-task learning 会把两个目标混在同一个 latent 上，导致 motion representation 被语言目标扭曲。Table 4 的大幅差异基本验证了这一点。

真正有效的部分很可能是 stop-gradient routing + motion prior，而不是 LLM 本身的 reasoning。LLM 在这里更像 conditional verbalizer：把已经投影进 embedding space 的 evidence token 翻译成模板文本。所谓 generative interpretability 的核心不是生成模型有多会推理，而是数据 schema 和梯度路由让生成内容被限制在 observable evidence 上。

报告生成的增益相对 VideoLLaMA3 很小，说明 motion token 对文本指标的边际提升有限；更大的价值可能在 qualitative faithfulness，而不是 BLEU/ROUGE/BERTScore。severity 增益也有归因不清的问题：它可能来自 trajectory stream、cross-fusion、joint-action training、强 backbone、甚至 PFED5+ schema 对任务的重新整理。论文没有完全拆清这些因素。

从机制分类看，这不是 retrieval、test-time compute 或复杂 planning；更像是 better inductive bias + representation alignment + data coverage。它把临床运动评估中的 latent structure 显式化：时间阶段、面部区域、运动状态、恢复过程。这个 latent structure 才是可迁移的部分。

Relation To Prior Work

最接近的路线有三条：FEQA / AQA 的连续评分模型、facial behavior description / affective VLM、以及 radiology report generation。TraMP-LLaMA 的本质位置是在 FEQA 上引入 report-generation-style evidence output，而不是单纯做一个更强视频 captioner。

和 QAFE-Net、TraMP-Former 这类 FEQA 方法相比，新增信息是 structured textual evidence supervision；它不只是提升 score，而是改变输出空间。和 Face-LLaVA、EmoVIT 等 facial VLM 相比，差异在于任务语义从 affect / AU / face attribute 转向 clinical motor evidence，强调时序阶段和运动质量。和 radiology report generation 相比，形式上相似，但证据对象不同：这里不是静态解剖异常，而是短时、低幅度、局部协调性的动态运动。

看似新的地方，如 LoRA instruction tuning、evidence token concatenation、frozen vision encoder，本质上是已有 VLM 工程重组。实质创新在两个点：第一，PFED5+ 把 clinical facial motion evidence 数据化；第二，解耦梯度让语言生成成为 evidence externalization，而非共同训练底层表征的主目标。

Dataset / Evaluation

PFED5+ 覆盖 2,811 个 clip、5 类临床动作，并在原 PFED5 severity score 上补充结构化文本描述。它的优点是任务非常贴近目标 clinical setting：同一模型 joint multi-expression training，而不是每个动作单独训练；报告 schema 也围绕可见面部区域和动作阶段设计。

但 evaluation 对核心 claim 的支持仍有限。Severity 用 Spearman correlation 合理，但不能说明生成报告是否真的 faithful。文本指标主要是单参考 overlap / semantic similarity，容易奖励模板匹配和常见短语复现，不能充分检测 unsupported region statements。文中承认存在格式偏差、空输出和错误区域描述，这些恰恰是 clinical deployment 最敏感的问题。

泛化验证不足。训练/测试来自同一 PFED5+ 数据分布，只有 subject split，没有看到跨设备、跨中心、跨语言、跨疾病、跨标注者 schema 的验证。因此“generative interpretability”目前更像在受控 benchmark 上成立，而不是已经证明真实临床可用。

Limitation

第一，方法 heavily relies on data schema。报告能力很可能主要来自 PFED5+ 的模板化标注和单一表达风格，而不是模型自然学会了临床解释。若换成开放式、多医生、多风格、多粒度报告，性能和一致性文中未充分说明。

第二，解释的 faithfulness 没有被因果验证。模型生成的 evidence 是否真是 score head 使用的 evidence，目前只是架构上共享 latent 的推断。由于 score branch 绕过 LLM，report branch 可能生成与 score 相关但非因果必要的文本；所谓“supports prediction”仍可能只是 weak alignment。

第三，泛化上限受 landmark quality 限制。遮挡、侧脸、低分辨率、面部检测误差、牙齿不可见等情况会直接影响 trajectory evidence，而这些恰是临床视频常见问题。

第四，增益来源不清。VideoLLaMA3 baseline 已经很强，TraMP-LLaMA 在文本指标上的提升很小；severity 提升也不是所有动作一致，Smile 和 Clench teeth 还退化。这说明 trajectory prior 并非普适有效，尤其在下半脸动作相互混淆时可能引入噪声。

第五，scaling 逻辑尚未验证。论文暗示 structured evidence reporting 可扩展，但实际成本在专家 schema、人工标注、临床审核。没有证明该 pipeline 在更大疾病谱或多中心数据上能低成本扩展。

Takeaway

• 最值得记住的不是 TraMP-LLaMA 这个具体架构，而是“共享证据、解耦优化”的模式：让预测和解释消费同一 evidence latent，但不要让解释任务反向污染预测表征。
• 对于临床 VLM，生成能力本身不是 interpretability；可解释性来自标注 schema、证据约束、梯度路由和 factuality evaluation。
• 未来真正值得做的是 region/time localized factuality metrics、evidence-score causal consistency、多参考临床报告，以及跨中心泛化。
• 这个方向后续可能会从 template report generation 演化到 structured evidence graph 或 temporally grounded report：不仅说“嘴角上扬”，还要定位何时、哪侧、幅度多大、该证据如何影响 score。

一句话总结

TraMP-LLaMA 是把 FEQA 从“分数回归”推进到“运动证据报告”的一次有价值重构，其真正贡献在于用结构化临床标注和 stop-gradient 解耦，把 VLM 生成能力限制为 motion-aware evidence externalization，而不是证明了通用 VLM 已具备可靠临床推理。