精读笔记
Problem Setting
MOCHI: Motion Enhancement of Collaborative Human-object Interactions（arXiv preprint / 2026）。这篇论文实际处理的是 MHOI data enhancement：给定一个已经存在但 noisy 的多人协作物体交互序列，恢复更可信的身体运动、手部运动和接触关系。它不是从零生成协作行为，也不是做物理控制，而是把 mocap / HMR / generative model 输出中的粗语义保留下来，再修复局部几何和运动质量。
真正困难点在于 MHOI 的错误不是普通 motion denoising 可以解决的。单人 motion refinement 主要关心身体自然性和脚接触；这里还必须同时满足：手和物体要稳定接触，两个人之间要保持相对布局和协作节奏，身体不能为满足接触而变得不自然，手指还要有 plausible articulation。更麻烦的是，输入信号本身既是监督又是不可信来源：它提供了语义 scaffold，但局部位置可能是错的。
以前方法卡在两个方向：一类是 single-person HOI，能处理人-物接触但没有多人协作；另一类是 human-human interaction 或 physics-based MHOI，通常任务/物体范围有限，且需要专门数据或控制器。直接训练 MHOI diffusion prior 的问题是高质量多人协作数据不够；直接靠 capture 又会遇到遮挡、手部缺失和 retargeting artifacts。MOCHI 的关键矛盾就是：如何不训练 MHOI prior，却仍然让单人 prior 服从多人协作约束。
Motivation
作者的核心观察是：noisy MHOI 通常不是全错。即便手部缺失、接触漂移、身体 jitter，输入仍保留了很多低频语义：物体大致怎么动、两个人大致站在哪里、谁在什么时候接触物体、动作属于 carry / rotate / handover 还是 sit-and-move。这些信息对从零生成很难，但对 enhancement 已经足够。
现有路线缺的是一种能把“粗语义 scaffold”和“高质量低维 prior”连接起来的机制。MHOI-specific data 不够，不适合端到端学一个强 prior；但 hand-object grasp prior 和 single-person motion prior 相对成熟。MOCHI 的动机就是利用这个数据不对称性：不要等待大规模 MHOI 数据，而是把 MHOI 拆回手-物体和单人身体两个已有 prior 可以覆盖的空间，再用显式约束把多人关系补回来。
这也是为什么论文不走纯生成路线。纯生成需要模型自己学会多人协作语义；MOCHI 则让输入承担语义，优化承担对齐，prior 承担自然性。这个选择很务实，也解释了它为什么在数据增强和后处理上比在“原创行为生成”上更有说服力。
Core Idea
核心思想可以概括为：把 MHOI 的难点从“学习联合分布”改写成“在已有语义附近做 constrained projection”。输入 noisy sequence 定义了一个语义邻域；hand-object optimization 找到与该邻域一致的 grasp anchor；diffusion noise optimization 再把每个人的身体运动投影到单人自然运动流形上，同时满足 contact 和 human-human objectives。
这引入了一个很重要的 inductive bias：协作交互中的稳定接触是全局 refinement 的锚点。先确定 grasp，再让身体去匹配 grasp，而不是让身体和手同时在巨大空间里漂。这个顺序降低了问题维度，也避免了手部生成和身体修复互相推卸责任。尤其在 MHOI 中，物体是多人关系的中心变量；用 object-centric hand pose 固定接触语义，本质上是在把物体变成协调坐标系。
和 prior work 的本质区别不在于用了 diffusion、grasp optimization 或 interaction graph，这些都是已有技术；区别在于信息流被重新组织：MHOI 语义来自 noisy input，接触语义被 hand stage 显式离散/锚定，自然性来自 single-person prior，多人关系通过 test-time objectives 注入。它没有学习一个新联合 prior，而是把多个已有 prior 通过优化组合成一个 MHOI repair engine。
Method
第一，手-物体接触被先行求解。它解决的是 finger-level detail 缺失和 wrist-object misalignment。关键不是生成漂亮手，而是生成“与输入身体语义一致”的抓取。为此作者不用全局随机搜索 grasp，而是在 lower arm 附近构造 cylinder bound；这个 bound 的作用是允许输入位置有噪声，但不允许 grasp 跳到语义上不相关的位置。没有这个约束，优化很容易找到力闭合合理但动作语义错误的抓取点。
第二，接触阶段被抽象为相对稳定的 object-centric grasp。这个假设很强，但对搬运、旋转、交接中的大部分持握阶段成立。它把时间序列问题压缩为 contact phase 内的稳定 grasp 估计，再用 hand-object interaction prior 生成 pre/post contact transition。这里真正重要的是 object-centric representation：它让物体运动和手部接触解耦，使 grasp 可以随着物体轨迹一起移动。
第三，全身 motion refinement 使用单人 diffusion prior 的 noise optimization。它解决的是：没有 MHOI prior 时，如何让身体自然且满足多人/物体约束。优化目标里 pose term 保留输入语义，contact term 对齐前一阶段 wrist anchor，interaction graph 保留两人相对方向和速度关系，collision/foot/energy 处理常见伪影。机制上，它是在 diffusion latent/noise space 中寻找一个既像自然单人运动、又满足外部协作约束的样本。
第四，多人被顺序处理，而不是联合生成。这个设计简化了优化，也使方法可以扩展到多于两人，但它也意味着多人协调并不是一个真正联合的 learned dynamics；更多是逐人 fitting 加上 cross-person objectives。这个选择是工程上合理的，但不是完整的 multi-agent generative modeling。
Key Insight / Why It Works
最核心的有效性来源是 representation alignment，而不是模型结构本身。MHOI 的复杂性被分解到三个对齐空间：object-centric hand space 负责接触，single-person motion space 负责身体自然性，interaction graph space 负责多人相对关系。每个空间都避开了直接建模完整 MHOI 分布的困难。
我认为真正贡献最大的是“bounded grasp optimization + contact anchor feeding into diffusion optimization”。这一步把 noisy body 中的高层语义转成后续可优化的几何约束。如果没有这个显式接触锚点，单人 diffusion prior 只会倾向于生成自然但不一定接触正确的动作；如果没有 cylinder bound，grasp optimization 会变成物理合理但语义不可靠的 grasp search。
diffusion noise optimization 的作用更像 test-time compute 加 prior projection。它并没有学到新的 MHOI knowledge，而是把已有单人 motion prior 当成强正则器。这是优点也是限制：在输入 scaffold 合理时，它能强力去噪；在交互语义本身错误时，它没有能力重新规划。这里所谓多人协作生成，本质上不是 learned cooperation，而是 constrained denoising。
interaction graph objective 是一个有效但相对浅的多人建模。它保留方向和相对速度，避免两个人在优化后关系崩掉；但它没有建模力、意图、长期依赖或 turn-taking。它更像 spatial-temporal consistency regularizer，而不是 collaboration model。
一些增益可能主要来自工程项：foot loss、collision loss、energy minimization 对视觉质量提升明显，但这些不是 MHOI-specific insight。真正可迁移的 insight 是：当联合数据稀缺时，可以把 noisy multi-agent sequence 拆成若干成熟 prior 的 test-time constrained projection，而不是强行训练联合 prior。
Relation To Prior Work
最接近的谱系有三条。第一是 hand-object optimization / grasp synthesis，如 ContactOpt、DexGraspNet 等；MOCHI 继承了 force closure、penetration、hand prior 这些思想，但新增点是用 noisy lower-arm 构造语义边界，使 grasp 不只是物理可行，而是与 MHOI 输入一致。第二是 diffusion motion prior / noise optimization，如 MDM、guided motion diffusion、HOIDiNi；MOCHI 的不同点不是优化 diffusion noise，而是把它用于多人协作修复，并用外部 objectives 注入 MHOI constraints。第三是 MHOI / cooperative HOI 数据与控制工作，如 CORE4D、CooHOI、TeamHOI；MOCHI 不直接学习或控制协作，而是作为 enhancement / augmentation pipeline 补足数据质量。
和 HOIDiNi 的差异尤其值得注意。HOIDiNi 是 text/context-to-HOI synthesis，试图从条件中生成交互；MOCHI 是 noisy-motion-to-clean-motion enhancement，交互语义主要来自输入。两者都用 diffusion noise optimization，但问题设置完全不同。MOCHI 的优势在于它不需要模型想象完整 interaction；劣势是它受输入 scaffold 约束。
和 OMOMO / InterDiff 等 object-motion-guided HOI 相比，MOCHI 不是学习 object trajectory 到 human motion 的映射，而是在已有 human/object trajectory 上做 refinement。它更像后处理和数据清洗工具。论文里很多“新”组件其实是已有思想重组，实质创新在于把这些组件组织成一个能处理 MHOI 数据稀缺的 pipeline，并明确利用 single-person prior 替代 MHOI prior。
Dataset / Evaluation
评估覆盖了几个有意义的输入来源：CORE4D 原始数据、人工加噪版本、单目 HMR 输出，以及改造后的 OMOMO 生成结果。这能比较好地支持“作为 noisy MHOI enhancement pipeline”的 claim。尤其 HMR 和 generative-output 后处理说明方法不只依赖一种 capture artifact。
但 evaluation 仍然偏视觉和几何一致性。contact precision/recall、foot skate、jitter、penetration、inter-person collision 这些指标能衡量数据是否更干净，却不能证明协作动力学更真实。比如两个人是否合理分担物体重量、是否存在可执行力学、是否能被 humanoid policy track，这些没有被验证。论文也没有真实机器人或物理仿真 tracking 结果，因此“机器人”相关价值目前主要是潜在应用。
对象替换、keyframe creation、多人数扩展展示了 pipeline 的灵活性，但这些更像 capability demo。它们支持方法具有一定 engineering generality，却不足以证明开放场景泛化。尤其 keyframe creation 依赖人工给定 sparse poses，本质上仍是从人类提供的语义 scaffold 出发，不是自主规划。
总体来说，实验足够证明 MOCHI 是一个有效的数据修复/增强工具；但没有证明它学到了通用 MHOI prior，也没有证明生成结果在物理或机器人部署层面可靠。
Limitation
最根本限制是输入语义依赖。MOCHI 的前提是 noisy sequence 中仍然能可靠识别 contact phase、相对人体布局和物体运动。如果 object trajectory 完全错、接触时序错、人体与物体关系错，方法没有机制推翻这些语义。它优化的是 scaffold，而不是重新理解任务。
第二，接触模型假设偏静态。论文假设 contact phase 内 grasp 在 object space 中相对稳定，这对搬运、抓取桌椅、交接的一段时间成立，但对连续换手、滑动接触、抛接、推拉滚动物体、工具操作并不充分。复杂 manipulation 中 contact manifold 是动态变化的，当前方法会很吃力。
第三，single-person prior 是上限也是瓶颈。它带来自然性，但极端速度、非典型姿态、强协作姿态可能落在 HumanML3D 分布外。文中也承认极端速度变化会失败。更深层的问题是：多人协作动作可能本来就不等同于单人自然动作的组合，尤其涉及受力、同步和互相让位时。
第四，增益归因不完全清晰。论文 ablation 说明各项有用，但没有把 prior projection、hand anchor、contact phase detection、object preprocessing、foot/collision regularization 的贡献完全拆开。部分视觉提升很可能来自常规 motion cleanup 工程项，而不是 MHOI-specific modeling。
第五，scalability 存在现实上限。每个 contact phase、每只手、每个 motion window 都要 test-time optimization；这适合离线数据增强，不适合实时交互或大规模自动标注流水线，除非进一步 amortize 或蒸馏。顺序优化多人也可能带来 order bias，文中未充分说明。
Takeaway
- 1. 这篇最值得记住的不是某个 loss，而是问题重写：当 MHOI 数据不足时，不要急着学联合 prior，可以把 noisy MHOI 当作 semantic scaffold，用成熟的 single-person / hand-object priors 做 constrained projection。
- 2. 稳定接触是多人协作物体交互的关键中间表示。
- 先把 hand-object relation 显式锚定，再修身体，比端到端同时修手和身体更稳，也更可控。
- 3. diffusion prior 在这里的角色不是生成智能，而是可微运动流形正则器；真正的控制力来自 test-time objectives。
一句话总结
MOCHI 是一篇把 MHOI 从端到端联合生成改写为“noisy semantic scaffold + hand/contact anchoring + single-person diffusion prior test-time projection”的数据增强/修复型工作，真正贡献在于可扩展地复用已有 prior，而不是学习了完整的多人协作动力学。