精读笔记
Problem Setting
这篇论文实际处理的是 robot manipulation policy 在 human-present workspace 中的分布缺口。传统数据集默认机器人是唯一主动 agent，导致策略学到的是 object-centric manipulation，而不是 interaction-conditioned manipulation。真正困难点不在于识别人、检测碰撞或理解手势这些单点能力，而在于人的动作会同时改变任务 precondition、动作时机、路径安全性和目标绑定关系。以前的大规模机器人数据主要沿 embodiment、scene、task、object 多样性扩展，但缺少“另一个 agent 的行为会约束机器人动作”这一维度。关键矛盾是：部署环境要求策略对人类动态做条件响应，而训练数据却只提供人类缺席时的单体操作监督。
Motivation
作者的出发点很直接：human-aware behavior 不是靠更大的 robot-only dataset 自然涌现的，因为这些行为在数据中没有发生。没有人伸手，机器人就不会学到让行；没有人接收物体，就不会学到交接；没有人指向目标，就不会学到 gesture grounding。已有 VLA/WAM 路线在扩大数据规模时隐含假设任务世界是 robot-centric 的，这对家庭、工厂、共享工作台等场景是错误抽象。HABIT 的核心观察是，人类存在本身应被视为数据多样性的独立轴，而不是 evaluation-time nuisance。缺口不是模型架构，而是 paired robot action data 中缺少由人类行为触发、约束或重定向的动作监督。
Core Idea
核心思想是构造一个 human-present robot demonstration distribution，使机器人动作在数据中系统性依赖人类行为。它改变了建模方式：从 language/object/state → robot action，变成 language/object/state/human behavior → robot action。这个变化看似朴素，但对 imitation learning 很关键，因为 BC/VLA 最擅长吸收数据中的条件相关性；如果让行、等待、同步、跟随手势在训练集中是高频且可见的条件模式，模型就有机会把它们内化成默认策略。
和 prior 的本质区别不在规模绝对值，而在 supervision topology。DROID、BridgeData、Open X-Embodiment、AgiBot 等扩展的是机器人与物体/场景的覆盖；HABIT 扩展的是机器人动作与另一个主动 agent 的耦合关系。它引入的 inductive bias 是：人的动作不是视觉干扰，而是任务图中的节点、动作可执行性的前提、以及安全约束的来源。这比单纯加入人类视频更有价值，因为数据中包含与人类行为同步的机器人动作标签。
Method
方法层面最关键的是 role taxonomy、workflow 和 reactive protocol 三者组合。
Role taxonomy 解决的是 interaction mode 的覆盖问题。Collaborator 强调共享目标和直接物理/时序耦合，Coworker 强调独立目标但共享空间下的安全约束，Supervisor 强调人类 cue 到机器人目标的绑定。这三个 role 不是理论上完整的人机关系空间，但足够覆盖当前 manipulation 中最常见的三类依赖：同步、避让、指令 grounding。
Workflow 解决的是 demonstration consistency。早期只给自然语言任务会导致操作者在人机分工和 subtask 顺序上自由发挥，监督信号对 BC 来说会变成多模态且不稳定。workflow 把交互拆成有向 subtask graph，使同一任务下人类动作和机器人动作的时序关系可对齐。它的核心变化是把 HRI 中隐式的协作协议显式化为数据收集约束。
Reactive interaction 解决的是可学习性问题。若操作者提前知道下一步并预执行，机器人动作可能由未记录的记忆或隐式约定触发，视觉输入中没有真正 causally relevant cue。作者要求操作者只能响应对方可见行为，并禁止未被相机捕获的协调信号，这一点比数据规模更重要：它确保 action label 的触发条件存在于 observation 中。
Behavior elicitation 解决的是稀有但关键行为的频率问题。安全优先让行、变速以诱导 temporal adaptation、手势前等待时间随机化，本质上都是在制造反事实压力，避免模型学到固定节奏或语言 shortcut。这些是数据工程，但不是低价值工程；它们直接决定数据中是否有足够信号学习 human-aware policy。
Key Insight / Why It Works
这篇论文有效的主要原因不是模型更强，而是它把缺失的监督变量放回了训练分布。VLA 在这里基本承担条件模仿器角色；只要人类行为与机器人动作之间的相关性足够稳定，模型就可以学到“人靠近则退让”“人指向后再选目标”“人完成前置动作后再执行”的反应模式。换言之，核心贡献是 data coverage + representation alignment，而不是 reasoning。
最有价值的 insight 是：HRI 能力不是单纯靠 post-hoc safety layer 或 instruction following 补出来的，必须在动作数据中看到人类作为动态条件。尤其 Coworker 结果说明，如果训练时没有人类路径冲突，策略不会凭空学会让行；Supervisor 结果说明，如果语言已能唯一指定目标，手势增益会变小，只有当任务存在 branching point 时视觉 cue 才真正有用。这说明 HABIT 的价值取决于人类 cue 是否在决策中提供不可替代的信息。
最可能的核心贡献是 collection protocol，而不是 dataset size。10K episodes/164 hours 对当前机器人数据集不算极大，但 interaction signal 密度高。workflow + reactive rule + wait-time/randomization 共同避免了 shortcut learning，这比“有人出现在画面中”重要得多。
哪些部分可能只是辅助：五路相机目前实验只用三路 robot-side view，因此 human ego/exo view 的价值尚未被验证；两种 VLA 都提升只说明数据效应跨模型存在，不说明模型学到了更抽象的人机关系；mid-training 的样本效率提升也可能主要来自相似 manipulation primitives 和 interaction templates 的复用。
需要更直接指出的是，所谓 human-aware behavior 很可能仍然是 conditional retrieval，而非显式意图推理或长期规划。评测 protocol 固定、人类动作模式固定、workflow 固定，模型只需在局部视觉上下文中选择熟悉动作模式即可。文中没有证明策略能处理偏离 workflow 的人类行为、冲突意图、延迟反应、多人交互或未见交互结构。因此这篇更像是把 HRI 的关键监督信号规模化收集，而不是解决 HRI reasoning。
Relation To Prior Work
它最接近两条路线的交叉：大规模 robot imitation datasets 和 HRI role taxonomy。相对 DROID、BridgeData、Open X-Embodiment、RH20T、AgiBot 等，HABIT 的新增信息不是更多物体或更多场景，而是 action-labeled co-present human dynamics。相对 Ego4D/Ego-Exo4D/EgoVerse 等人类视频数据，HABIT 的关键区别是有同步机器人动作，因此可直接训练 policy，而不是只作为 perception/pretraining source。
和传统 HRI 工作相比，HABIT 并没有提出新的交互理论；Collaborator/Coworker/Supervisor 基本来自已有 taxonomy。实质创新在于把这些 taxonomy operationalize 成可训练的机器人示范数据，并用 workflow 保证 role-specific dependency 出现在 action supervision 中。换句话说，taxonomy 本身不新，把 taxonomy 变成 scalable imitation learning data 是新贡献。
它属于“data-centric robot foundation model”技术谱系，而不是 architecture-centric 方法。看似在做 dataset/benchmark，实质是在定义 robot learning 的新数据维度：human-conditioned action distribution。这个方向与其说挑战现有 VLA，不如说给 VLA 补了一个缺失训练分布。
Dataset / Evaluation
数据覆盖上，HABIT 有真实双臂 Franka 真机、60 个任务、三类 interaction role、五路 RGB、机器人和人类 subtask annotation，作为第一版 human-present manipulation dataset 是有价值的。它不是跨场景、跨 embodiment 或跨机构数据集；环境单一、硬件单一、操作者约十人，因此更像 controlled HRI data resource，而不是开放部署基准。
评测基本支持核心 claim：human-present data 比 matched robot-only data 更能产生 role-specific behavior。Robot-only baseline 在同任务、同环境、同 teleoperator 下采集，控制得比较干净；两种 VLA 都显示类似趋势，也降低了“某个模型偶然适配”的风险。
但 evaluation 的外推性有限。主评测只有六个 representative tasks，且每个 cell 二十次 trial，主要验证 protocol 内泛化。Collaborator 没有 Robot-only baseline 是合理的，但也使该 role 缺少最强对照。OOD 只看衣服和体型，且仍在同环境和同 workflow 下；这不能证明对真实部署中的行为多样性泛化。sample-efficient adaptation 的结果有启发，但下游任务与预训练任务同属同一平台、同一数据风格、同一 role taxonomy，增益可能来自 task family overlap。
Limitation
最根本的前提是：训练和测试中的人类行为必须落在收集协议覆盖的 interaction manifold 内。一旦人类动作不按 workflow、cue 模糊、目标冲突、动作速度极端、多人同时出现，策略是否安全，文中未充分说明。
scalability 上限来自数据收集成本和交互结构设计成本。HABIT 不是无监督从自然环境中抽取交互，而是依赖人工设计 workflow、人工诱导行为、人工 teleoperation。要扩展到真实家庭/工厂中的长时程任务，设计所有可学习且安全的 workflow 本身会成为瓶颈。
泛化仍可能主要来自数据覆盖，而不是抽象能力。模型看到的是固定相机、固定桌面、固定机器人、固定任务语法下的人类动作模式。所谓同步、让行、手势 grounding 更像局部视觉条件到动作模板的映射。若 benchmark 与训练任务共享大量 interaction motifs，mid-training gain 不能证明组合泛化。
增益归因不完全清楚。HABIT episodes 通常比 Robot-only 更长，Supervisor 中等待时间设计改变了 temporal distribution，human-present data 还可能带来更多视觉上下文和更强任务 disambiguation。文中没有系统 ablation：只加人但不 reactive、只加 workflow、只加 safety-yielding、只加 wait-time variation、使用 human-side cameras 等。因此“human presence”作为整体变量成立，但内部哪一部分贡献最大仍不清。
安全 claim 需要谨慎。数据中记录了让行行为，但没有形式化 safety guarantee；策略仍是 learned policy，真实部署中面对 OOD human motion 时可能出现不可预测动作。HABIT 更像降低常见交互失败的 prior，而不是安全层替代品。
Takeaway
- 第一，机器人数据集的下一条有效 scaling axis 可能不是更多孤立任务，而是更多主动 agent 的条件依赖。
- human-aware behavior 必须在 action supervision 中出现，不能指望从 robot-only manipulation 自动涌现。
- 第二，HRI 数据集的关键不只是拍到人，而是让机器人动作 causally depend on observable human cues。
- reactive collection protocol 是这篇最值得迁移的设计原则，可用于任何需要从交互中学习的 embodied dataset。
一句话总结
HABIT 的位置是一篇 data-centric HRI robot learning 论文：它真正贡献的是把 co-present human 从视觉背景提升为机器人动作监督中的动态条件变量，代表了机器人基础模型从 object-centric manipulation data 向 interaction-conditioned data 的演化。