Science Robotics / Research Article

Mutual gaze with a robot affects human neural activity and delays decision-making processes

作者：Marwen Belkaid, Kyveli Kompatsiari, Davide De Tommaso, Ingrid Zablith, Agnieszka Wykowska · 单位：Here, we investigated whether a humanoid robot’s gaze (mutual or averted) influences, Together, these findings, incentives (13), or group sizes in an intergroup competition (14), nearby) (18), and increases the attribution of intentionality (19) and, ent parameters [e.g., robot’s likeability and physical proximity (21), collision course and the outcome depends on whether the players, halfway before reaching the center, which either looked directly at the participant (hereafter labeled, labeled Averted gaze, period (labeled “gaze and press”, 2 to 7 s), After looking at iCub, participants had to decide whether to go straight or deviate · 来源：Science Robotics · 发布日期：2021-09-29 · DOI：10.1126/scirobotics.abc5044

仿生机器人机器人

精读笔记

Problem Setting

论文标题：Mutual gaze with a robot affects human neural activity and delays decision-making processes（Science Robotics / 2021）。

这篇论文真正解决的问题是：在具身人机互动中，机器人 gaze 这种看似低层的非语言行为，是否会进入人的社会决策系统，并改变决策动态，而不仅仅改变主观好感或 engagement 评分。

难点在于 gaze 同时具有多个属性：它是视觉运动事件、注意线索、社会信号、可能的意图线索，也可能只是任务无关干扰。以前的 screen-based strategic game 可以控制 payoff 和策略，但缺少真实 mutual gaze 的社会存在感；HRI gaze 研究有真实机器人，但多依赖问卷或简单任务，难以看到决策机制层面的变化。

这个任务的关键矛盾是：机器人 gaze 在实验中不携带任何关于其动作的有效信息，但人类社会认知系统可能仍然自动把 mutual gaze 当作重要信号处理。论文要证明的不是“人看到了机器人眼睛”，而是“即使无用，人也会为机器人眼神付出可测的认知成本”。

Motivation

已有路线不够的地方很明确：

1. 神经经济学的战略互动研究大多牺牲生态有效性。屏幕上的 opponent、头像或抽象 agent 很难触发与面对面交互相同的 gaze/being watched 机制。

2. HRI 中关于 eye contact 的工作多数测的是评价、信任、engagement、感知 intentionality，缺少 trial-level 的行为动力学和神经指标。换句话说，知道用户“觉得机器人更像社会对象”，但不知道这个判断是否改变决策过程。

3. gaze 在真实互动中经常被当作意图线索，但机器人 gaze 的设计通常缺少机制层验证。一个 gaze 行为可能提升 engagement，也可能增加认知负担；这对协作机器人、教育机器人、临床机器人都不是小问题。

作者的核心观察是：mutual gaze 在人-人互动中有强 eye contact effect，那么在机器人场景中，最有价值的问题不是它是否“像人”，而是它是否足够强到在与任务无关时仍改变人的决策计算。这个缺口正好可以通过实体机器人 + strategic game + EEG/DDM 的组合来打。

Core Idea

核心思想是把机器人 mutual gaze 当成一个“社会显著但策略无关”的变量嵌入到真实双向博弈中。参与者必须和 iCub 在 Chicken game 中做策略决策；但在每次决策前，机器人可能直视参与者，也可能移开视线。关键设定是 gaze 与机器人随后动作独立，因此 gaze 不应该理性地影响选择。

如果 mutual gaze 仍然造成反应延迟、决策阈值变化和脑电振荡变化，那说明人类不是只在显式有用时才处理机器人社会信号，而是会自动把其纳入或至少试图排除出决策流。这个建模方式的本质变化在于：它不把机器人 gaze 当作交互体验的外显设计因素，而是当作进入人类 latent decision process 的输入扰动。

和 prior 的差异也在这里：过去常问“机器人 gaze 是否让互动更自然/更好”；这篇问的是“机器人 gaze 是否改变人类决策系统的内部计算，即使它不提供任务信息”。这是从 HRI 体验评估转向机制性认知测量。

Method

方法可以压缩成几个必要机制：

1. 实体 iCub + 面对面 Chicken game：解决 screen-based social decision-making 缺少具身社会信号的问题。机器人在场使 mutual gaze 更接近真实 eye contact，而 Chicken game 保留了冲突、预测对方、风险与 payoff 依赖对方动作的结构。

2. trial-level gaze manipulation：在决策前操控 mutual vs averted gaze，用于测试即时 gaze effect。由于参与者在同一任务中反复经历两种 gaze，可以观察同一个人的 RT、DDM 参数和 EEG 差异，避免只看组间差异。

3. exposure-level manipulation：70% Mutual vs 70% Averted 不是为了看单个 trial，而是为了看长期社会氛围是否改变策略取向。这个设计把 gaze 从瞬时刺激提升到 interaction context。

4. iCub 使用带噪声的 WSLS 策略：这给参与者提供可学习但不明显的对手结构。必要性在于，如果机器人完全随机，mentalizing 无意义；如果太可预测，任务又退化成规则学习。

5. DDM：用于判断 RT 延迟来自 evidence accumulation、decision threshold 还是 nondecision time。论文最重要的是把“mutual gaze 让人变慢”进一步解释为更高 decision threshold，即更谨慎/更费力的决策过程。

6. EEG alpha 与 outcome ERP：alpha 用于读出 gaze 期间的抑制/注意机制；ERP 用于探索不同 exposure 下 feedback monitoring 是否改变。这里 EEG 不是装饰，而是用来支持“认知资源被 gaze 占用/调节”的机制解释。

Key Insight / Why It Works

最核心的 insight 是：social cue 的影响不一定表现为选择偏好变化，而可能表现为决策过程参数变化。论文中 mutual gaze 没有显著改变 straight/deviate 的比例，也没有改变总体得分；如果只看 choice frequency，会误判为“无效”。但 RT、DDM threshold 和 alpha power 显示它确实改变了决策准备阶段。

为什么这个实验能工作？因为 gaze 被设计为 task-irrelevant。这个设计很关键：如果 gaze 预测机器人动作，效果可能只是 cue learning；现在 gaze 无预测性，mutual gaze 的影响更像自动社会信号处理或抑制成本。作者的解释是：参与者需要压制一个显著但无关的社会信号，因此 parietal alpha 增强，decision threshold 提高，RT 变慢。

我认为最实质的贡献是将 HRI gaze effect 从主观层面推进到 latent decision dynamics：DDM + EEG alpha 的组合给了一个较清晰的机制读数。策略序列和 ERP 是有价值的补充，但可信度低一些，尤其 ERP 被作者自己定义为 exploratory，而且动态 feedback 的 ERP component mapping 不干净。

最可能只是辅助的部分是复杂的 strategy model comparison。RL / fictitious play / influence model 说明参与者会把机器人当作可预测对手来推理，这很重要，但它没有很好解释 gaze 条件差异。真正驱动论文主张的是 mutual gaze 对 RT/DDM/alpha 的一致影响，而不是 mentalizing model 的拟合。

这不是 scaling / data coverage 型贡献，也不是更强模型带来的性能提升。它更接近 better experimental inductive bias：通过把社会线索与任务信息解耦，强迫机制暴露出来。它也不是证明机器人 gaze 能改善决策，而是证明机器人 gaze 会消耗或重分配认知资源。

Relation To Prior Work

它最接近三条路线的交叉：eye contact effect、neuroeconomics strategic game、human-robot gaze interaction。

相对 eye contact 文献，它的新意不是发现 direct gaze 会影响注意或 arousal，而是把 direct gaze 放到实时双向博弈里，并显示影响延伸到决策阈值和策略过程。

相对 neuroeconomics 的 Chicken game / strategic interaction，它的新意不是博弈模型，而是 embodied robot opponent 与真实 gaze manipulation。传统 screen-based 范式对 payoff 和 choice 控制更强，但社会信号贫乏；这篇牺牲一些实验纯度，换来更接近自然互动的社会 cue。

相对 HRI gaze 工作，它的新意在于不用问卷作为主证据，而是用隐性行为和神经指标。许多 prior 已经知道 robot eye contact 会提升 engagement、intentionality attribution 或 face fixation；这篇进一步问这些主观变化是否进入 decision computation。

看似新的部分如 WSLS、T4T、RL/fictitious play/influence model 都是已有思想重组。实质创新在实验组织：机器人 gaze 被作为可控社会干扰嵌入战略博弈，并通过 DDM/EEG 建立从社会线索到决策机制的证据链。

Dataset / Evaluation

评估是小样本真实人机实验，不是大规模 benchmark。主实验 40 人，另有 pilot；250 trials per participant 提供了足够 trial-level 数据用于 RT、DDM 和 EEG，但个体层面、组间策略层面的统计仍然偏脆。

任务覆盖范围窄：单一机器人 iCub、单一 Chicken game、单一 gaze manipulation、单一实验室面对面设置。它强在真实机器人和实时交互，而不是跨场景泛化。

evaluation 对核心 claim 的支持程度分层：

1. “mutual gaze delays decision-making” 支持较强，RT 和 pilot 都比较一致。

2. “delay corresponds to higher decision threshold” 支持中等偏强，DDM 结果合理，但 main experiment 中 nondecision time 也有贡献，归因不是绝对纯净。

3. “alpha synchronization reflects suppression of irrelevant gaze” 支持中等。alpha 与抑制解释符合文献，但 mutual gaze 也可能引发 arousal、social attention、mentalizing，文中未充分说明如何排除。

4. “higher averted exposure leads to self-oriented strategy and stronger outcome sensitivity” 支持较弱但有启发性。这里是组间 exposure effect，样本较小，ERP 又是探索性分析，适合作为 hypothesis-generating，而不是强因果结论。

总体上，evaluation 足以支撑“机器人 gaze 会影响人的决策过程”，但不足以唯一确定其神经机制就是 distractor suppression。

Limitation

最关键限制是机制归因不唯一。作者倾向解释为：mutual gaze 是任务无关 distractor，需要被 alpha-mediated suppression 抑制。但同一组现象也可能来自 being watched effect、social arousal、mentalizing trigger、注意捕获、或 direct gaze 的 approach/avoidance 动机系统。文中未充分说明这些机制如何被区分。

第二，averted gaze 不是 neutral baseline。作者承认交互场景中没有纯 neutral gaze，这点合理，但也意味着 mutual vs averted 的差异不能简单解释为 eye contact 的绝对效应，而是两种社会信号的相对差异。averted gaze 本身也有 communicative meaning，甚至可能表示 disengagement 或 avoidance。

第三，gaze 与机器人动作被设计为独立，这强化了 distractor 解释，但也限制了外推。真实 HRI 中 gaze 通常有信息价值，例如指向目标、表达轮次、预示动作。本文证明的是“无信息 mutual gaze 的成本”，不是“有信息 gaze 的协作价值”。

第四，策略层面的结论依赖 exposure group。高 averted 组更 WSLS 可能说明 social disengagement，也可能是个体差异、学习轨迹或样本噪声。没有强纵向建模来说明 exposure 如何逐步改变策略。

第五，机器人形态高度特定。iCub 是类人眼睛和头部运动都较强的 humanoid；结果未必迁移到非人形机器人、屏幕 avatar、语音助手或工业机械臂。

第六，所谓“participants reasoned about the robot”需要谨慎。模型拟合显示 influence model 更好，但这不等于参与者显式或稳定地构建对机器人心理状态的模型；也可能是对序列统计结构和 payoff 的策略适应。这里的 mentalizing 证据是计算层面的，不是强心理状态归因证据。

Takeaway

  • 1. HRI 中的 social cue 不能只按“提升自然性/engagement”评价；它可能直接增加用户的决策成本。
  • 机器人 eye contact 是资源调度器，不只是表情设计。
  • 2. 选择比例不变不代表认知机制不变。
  • 对于社会决策任务，RT 分布、DDM 参数、EEG oscillation 可能比 aggregate choice 更敏感。

一句话总结

这篇论文在 HRI 方向中的位置是：它把机器人 mutual gaze 从“主观交互体验变量”推进为“可改变人类潜在决策动力学的社会干扰/调节信号”，核心贡献是用具身博弈、DDM 和 EEG 证明机器人眼神即使任务无关也会占用人的社会认知资源。