精读笔记

Problem Setting

论文要解决的不是一般意义上的 GUI agent 训练，而是多平台 GUI agent 的持续整合问题：一个共享策略需要同时掌握 desktop 与 mobile 的交互行为，并在继续学习新平台时不遗忘旧平台。关键矛盾在于，不同平台共享高层任务语义，却不共享底层 action convention。很多错误并不是视觉识别错，而是把一个平台的交互习惯迁移到另一个平台，例如 desktop 的窗口操作、键鼠操作和 mobile 的返回键、滑动、app navigation 在语义上不等价。已有 mixed SFT、mixed RL 或 model merging 卡在这里：它们把异构平台信号合成一个平均监督目标，默认冲突可以被模型容量吸收，但 GUI 操作中的冲突往往是决策先验冲突，不是简单数据噪声。

Motivation

作者真正的出发点是：跨平台 GUI 学习缺少稳定的行为锚点。仅仅增加数据覆盖会提高状态多样性，但不会自动解决平台 convention 的干扰；参数合并或混合训练甚至可能把两个专家模型中互斥的行为模式线性化成不可执行的中间策略。论文隐含的判断是，GUI agent 的跨平台能力需要两类东西同时存在：可迁移的界面理解能力，以及不可随意平均的平台特定动作先验。已有路线主要补前者，缺后者。UI-MOPD 因此把问题从“如何混合更多轨迹”转成“如何在在线优化中按平台保持 teacher 约束”。

Core Idea

核心思想可以概括为：让共享 student 自己探索当前状态分布，但每个 rollout 只向对应平台的 teacher 对齐。这样 teacher 不再是离线模仿数据源，而是在 student 当前实际访问的状态上提供条件化 behavioral prior。相比 static distillation，它避免要求 student 学完整 teacher 分布；相比 mixed SFT，它避免把 desktop/mobile 的动作习惯压成单一平均策略；相比 model merging，它不在参数空间做无语义平均，而是在行为分布层面施加平台条件约束。

这个建模改变引入了一个明确 inductive bias：平台是决定 action distribution 的 latent/context variable。也就是说，同一个共享模型可以复用视觉理解和语言推理表示，但在行为层输出上应根据平台激活不同 mode。这个 bias 对 GUI agent 很自然，因为平台差异主要体现在可执行动作和交互 convention，而不完全体现在任务语义。它比简单扩大数据更 scalable 的地方在于，新平台理论上可以通过新增 teacher 和 routing 进入同一个 student；但这个 scalability 依赖 teacher 可得性，并不免费。

Method

方法层面真正关键的不是训练 recipe，而是三种约束如何组织信息流。第一，平台专属 teacher 负责保存各自平台的行为分布，解决 mixed training 中行为 convention 被平均的问题；它们本质上是平台记忆，而不是只提供更强监督。第二，on-policy distillation 让 student 先生成 rollout，再在这些 student-induced states 上计算 teacher KL，解决 offline distillation 中 teacher 覆盖大量 student 不会访问状态的问题；这使监督更贴近当前错误分布。第三，platform-conditioned routing 根据 rollout 来源选择 teacher，解决多 teacher signal 如何不互相冲突的问题；desktop rollout 只受 desktop teacher 约束，mobile rollout 只受 mobile teacher 约束。

adaptive KL mask 的机制含义是：当 reward 已经足够好时减少 teacher 牵制，让 RL 有探索空间；当 reward 差时保留 teacher anchor，防止策略漂移。这个设计合理，但更像训练稳定器，而不是论文的核心创新。rule-based reward 也主要承担 executable action format 与局部 correctness 的监督，更多是工程上让 GUI RL 可跑起来的必要条件。

Key Insight / Why It Works

我认为最可能真正有效的是“on-policy + platform-routed teacher KL”这一组合，而不是多 teacher 本身。多 teacher distillation 在 foundation model post-training 里已有先例；放到 GUI agent 里，关键收益来自把平台作为条件变量显式注入 distillation 过程。它实际上是在做 representation alignment 与 behavioral prior preservation：共享底座吸收通用视觉/语言/GUI grounding，teacher KL 保护平台动作分布不被 RL 或混合数据冲掉。

这不是 retrieval，也不是 test-time compute；更接近 better inductive bias 加 data coverage。Uni-GUI 的清洗和强 teacher 生成数据很可能贡献很大，甚至可能是 mobile gain 的主要来源之一。论文把 UI-MOPD 和数据集同时引入，因此增益归因不完全干净。尤其 teacher 是 Qwen3-VL-32B-Thinking，经强模型生成与 Gemini 清洗的数据训练；student 的提升可能部分来自 teacher scale、格式规范化、trajectory filtering，而不是 MOPD objective 本身。

另一个值得注意的点是，所谓 continual learning 在文中更像两平台知识整合，而不是严格的长期 sequential continual learning。它确实缓解了平台间 interference，但没有证明在持续加入多个平台、任务分布漂移、环境版本变化时仍能稳定工作。因此它解决的是“跨平台能力合并中的遗忘/干扰”，而不是完整的 lifelong GUI agent learning。

Relation To Prior Work

最接近的路线有三类：多平台 GUI agent 的 mixed SFT/RL，模型合并，和 foundation model post-training 中的 MOPD/OPD。UI-MOPD 的实质创新不是提出 MOPD，而是把 MOPD 的 teacher routing 解释为 GUI 平台 convention 的条件化保持机制。和 mixed SFT 的本质差异是，mixed SFT 在数据层混合平台，UI-MOPD 在行为约束层按平台分流；和 model merging 的差异是，它不假设两个平台专家在参数空间可线性组合，而是在 student 访问状态上做分布对齐；和传统 RLHF KL 的差异是，KL 不只是防止 policy drift，而是携带平台特定专家行为。

看似新的部分中，multi-teacher on-policy distillation 本身是已有思想迁移；平台 routing 也不是复杂机制。但把它用于 GUI continual learning 是合理且有价值的重组，因为 GUI 的平台差异天然对应 teacher specialization。实质新增的信息是：对跨平台 GUI agent 来说，能力合并的核心不是统一 action space，而是避免 action convention 的平均化。

Dataset / Evaluation

Uni-GUI 覆盖 desktop 与 mobile，包含自采和清洗后的 OpenCUA/OpenMobile，优点是强调 executable trajectory、action compatibility、reasoning normalization 与 grounding annotation。这对 GUI agent 很关键，因为低质量轨迹会直接污染 action prior。数据构造依赖强模型生成 query、采集轨迹、自动判别成功，这提升了数据质量，但也带来 hidden supervision 和 benchmark overlap 风险。文中没有充分说明功能点生成与 OSWorld/MobileWorld 测试任务之间的隔离程度。

评测覆盖 interactive task execution、static AndroidControl 子集和 grounding benchmark，基本能支撑“相比 merging 更少破坏 GUI grounding、相比 mixed training 更平衡”的 claim。但它没有充分验证更强的 claim：continual adaptation 到未知平台、真实部署鲁棒性、长程任务规划能力。OSWorld/MobileWorld 成功率本身仍然偏低，说明模型还远未形成可靠的通用 GUI 操作能力。结果更适合解读为“训练策略改善了两平台 trade-off”，而不是“实现了统一 GUI agent”。

Limitation

核心限制是增益归因不清。论文同时引入 Uni-GUI、强 teacher、trajectory cleaning、rule reward、MOPD objective 和 routing，缺少足够细的 ablation 来说明哪一部分是决定性因素。很可能有相当比例收益来自数据覆盖、teacher scale 和格式对齐，而不是 MOPD 本身。文中未充分说明如果只用同样数据做 platform-token conditioned SFT/RL，或用单一 32B general teacher 做 OPD，差距会有多大。

第二，方法把多平台干扰问题转移成 teacher 维护与 routing 问题。平台数少时 hard routing 很自然；平台数增加、平台边界模糊、任务跨 app/workflow convention 时，平台标签未必足够表达行为差异。第三，它没有证明真正的长期状态建模或 planning 能力。GUI task success 可能来自局部 affordance matching、轨迹模式记忆和 reward 对齐，而不是形成稳健的长期计划器。第四，真实 deployment 中环境状态、app 版本、权限弹窗、网络延迟和用户个性化会显著增加分布外情况，当前 evaluation 对这些压力测试不足。

Takeaway

• 最值得记住的不是具体 KL estimator，而是一个方向判断：多平台 agent 的知识整合应该在行为分布层面做条件化，而不是在数据或参数层面粗暴混合。
• 对于 GUI、robotics、tool-use 这类 action convention 强的领域，teacher routing 可以被看作保留 domain-specific motor prior 的通用手段。
• 第二，on-policy distillation 比 offline distillation 更适合 agent 场景，因为监督应落在 student 当前访问的状态分布上，而不是 teacher 的完整轨迹分布上。
• 第三，未来更有价值的问题不是再加一个平台 teacher，而是学习更细粒度的 latent convention routing：按 app、任务类型、操作语义、失败恢复模式动态选择行为先验。

一句话总结

UI-MOPD 是把 foundation-model 后训练中的 multi-teacher on-policy distillation 迁移到多平台 GUI agent 的一篇方法型工作，真正贡献在于用平台条件化 teacher KL 抑制 desktop/mobile 行为 convention 的平均化，属于从“混合数据训练”走向“条件化行为先验整合”的方法演化。