精读笔记
Problem Setting
《Learning to Fold: prizewinning solution at LeHome Challenge 2026》（arXiv preprint / 2026）处理的是一个非常具体但有代表性的 robotics 问题：给定一个已经有非零成功率的 flow-matching VLA/BC policy，如何在稀疏二值成功信号、布料高度非线性、有效动作流形很窄、仿真 rollout 昂贵且真机分布不匹配的条件下，把它推到可靠部署。
真正困难不在“如何定义折衣服”本身，而在信用分配和分布覆盖：干净 scripted BC 数据只覆盖成功轨迹，缺失败恢复；二值 reward 只在终点给信号，无法区分早期动作好坏；布料状态一旦偏离专家轨迹就进入 OOD；同时 evaluation 又要求 unseen garments 和真实机器人迁移。关键矛盾是：需要 RL 式改进，但标准 online RL 对 flow-matching VLA 不自然；需要探索恢复，但任何强探索都可能把动作推离可执行流形。
Motivation
已有路线的缺口很清楚。纯 BC 能学到 clean fold，但不具备对微小布料扰动、grasp slip、轨迹偏差的鲁棒性；PPO/GRPO 这类 log-prob policy gradient 在这里也不是自然选择，因为 action 是 flow-matching chunk，不是容易计算和约束的显式概率策略。更重要的是，连续机器人动作的“坏样本”并不是可安全远离的类别，而常常只是离有效动作流形稍远的一片区域；负向更新很可能破坏生成流形。
作者的核心观察是：如果 base policy 已经能偶尔成功，那么最有效的不是发明新行为，而是从自身 rollout 中识别哪些片段更像成功模式，并把训练和推理都偏向这些片段。也就是说，缺的不是一个更强 planner，而是一个能把 sparse outcome 转化为可用 advantage、再把 advantage 反馈到 VLA 生成过程中的机制。
Core Idea
这篇论文真正的核心思想是：让 policy 自己承担 value function / lightweight world model / action ranker 的角色，并用这些内部预测重塑训练和推理分布。success head 给出近似 value，completion head 给出稳定 progress potential，keypoint-distance head 给出任务指标空间中的低维状态，action-conditioned residual 给出粗糙 Q-like ranking。它们共享 VLA representation，因此不需要单独 critic、单独 reward model 或单独 serving pipeline。
这个设计改变了信息流：advantage 不只是训练 loss 的权重，而是同时进入数据采样、模型条件输入和 test-time guidance。AWR 负责把训练数据分布偏向高 advantage 片段；RECAP-style conditioning 让模型学习“在高 advantage 条件下动作长什么样”；CFG 在推理时外推这种条件；best-of-N 则用 action-conditioned residual 做有限 test-time search。本质区别不是提出了新 RL 算法，而是把若干已知思想组织成适合 flow-matching VLA 的闭环：只强化已有好模式，不显式惩罚坏模式。
Method
第一，AWR-through-sampling 解决的是 compute allocation：高 advantage frame 被更频繁加载，低 advantage frame 不是在 loss 中被小权重训练，而是基本不占 batch。这对视觉机器人数据尤其重要，因为图像解码和大模型 forward 昂贵；它把 RL 更新变成数据分布重塑。
第二，advantage conditioning 解决的是“如何让同一模型区分平均行为和好行为”。模型在训练中看到带 advantage 条件的动作，推理时用 CFG 放大该条件。核心变化是把策略改进从参数更新的一次性结果，变成可在 inference-time 调节的条件生成问题。
第三，policy-as-value 解决的是 critic 复杂度和表示对齐问题。success/completion/keypoint/future heads 都附在同一 VLA 上，使 value signal 与 action representation 共享视觉特征。这比外置 critic 更轻，但也意味着 value 会随 policy 共同漂移，稳定性依赖 smoothing、tail correction、stale-data blending 等工程补丁。
第四，dense reward/advantage 设计解决 sparse success 的信用分配。它利用 challenge success checker 的 keypoint conditions 构造 checkpoint reward，但失败时撤回累计 reward，使 episode return 仍等于 binary success。这是一个重要技巧：中间 reward 用于 credit assignment，但不改变最终优化目标。
第五，test-time optimization 解决的是“同一 checkpoint 如何跑得更好”。执行长度、速度、inpainting、CFG scale、noise temperature、candidate count 被当作部署时策略的一部分，用 Thompson sampling 在 rollout 中调。这里的核心不是 bandit 本身，而是承认 VLA policy 的能力强烈依赖运行协议，test-time compute 是性能来源之一。
Key Insight / Why It Works
我认为最可能真正有效的部分是三件事。第一，高质量数据分布塑形：AWR sampling、success replay、curriculum、hard mining、DAgger、stale-data decay 都在做同一件事——让训练看到更多接近成功边界、对策略改进有信息量的状态。核心能力可能主要来自数据覆盖，而不是某个网络结构创新。
第二，advantage-conditioned generation 很适合 flow-matching VLA。它避免了“把坏动作概率压低”这种容易离开动作流形的更新方式，只在 policy 自己会生成的行为族里做 reweighting 和 conditional sharpening。这是比 PPO-style 更新更匹配该模型族的 inductive bias。它的代价也很明确：探索能力弱，基本不会发明训练分布外的 recovery。
第三，test-time compute 在这里不是小优化，而是系统能力的一部分。高 CFG scale、best-of-N、短执行窗口、soft inpainting 共同把模型变成一个局部重规划器：频繁观察、短程执行、在少量候选里避开坏 chunk。这更像局部 retrieval/reranking，而不是长期 planning。planner 实际没有形成长期状态建模；长期性主要来自闭环重规划和布料任务结构本身。
哪些可能只是辅助？XSA、AdaRMS garment/advantage conditioning、smooth action normalization、FAST future heads 等都可能有帮助，但文中未充分说明，增益来源不清。尤其 XSA 更像“recent fashion”式尝试。checkpoint rollback、HF async pipeline、camera overlay alignment 这些工程项可能对最终成绩非常关键，但它们的贡献属于 scaling / operations，而不是算法本质。
一个重要判断：所谓 world model 很轻，基本不是预测动态，而是预测 reward-relevant keypoint ratios。它有效是因为 benchmark 的成功标准就是 keypoint distance；这是一种 hidden supervision / privileged metric reuse。它不是坏事，竞赛里完全合理，但泛化到没有明确几何成功 checker 的任务时会失去核心监督。
Relation To Prior Work
这篇最接近的技术谱系是 AWR/AWAC + RECAP/π0.6* + flow-matching VLA + DAgger/HIL robotics。它不是在算法理论上发明新 RL，而是把 advantage reweighting、advantage conditioning、classifier-free guidance、candidate reranking、asynchronous rollout 和 sim-to-real augmentation 重新组合到一个机器人 VLA 系统里。
和 PPO/GRPO 路线的本质差异在于，它不做显式 policy-gradient 式概率比约束，也不试图对坏动作施加负梯度；它把策略改进建模为 supervised regression distribution shift。这个选择对生成式 action policy 更自然，但牺牲了探索。
和传统 BC/DAgger 的差异在于，它不是只收集更多 demonstrations，而是用 policy 自己预测的 success/progress 组织 rollout 数据，并在推理时复用这些预测做 guidance/ranking。和 model-based RL 的差异在于，它没有学习完整状态转移，只预测与 success checker 对齐的低维指标；这更像 reward-space predictive auxiliary task。
实质创新主要在系统级信息流：同一个 VLA 内部的 value/Q/progress heads 同时服务于 advantage estimation、failure detection、data prioritization 和 inference-time selection。看似新的许多模块其实是已有思想重组；真正新增的信息是这些机制在 flow-matching VLA + deformable manipulation 竞赛中的可行 recipe。
Dataset / Evaluation
评估覆盖了仿真在线榜和真实机器人 final，任务不是多任务泛化，而是单一技能在四类 garment 上的 robustness/generalization。仿真部分有 seen/unseen garments，真实部分有 sim-to-real-to-real 的额外 domain gap，因此比纯离线 benchmark 更有说服力。
但 evaluation 支持的是“这个系统 recipe 在 LeHome challenge 上有效”，不是“提出的每个机制有效”。文中几乎没有受控 ablation，且作者明确说这是 engineering case study。在线成绩可能同时来自数据规模、rollout throughput、超参数调参、privileged checker reward、test-time bandit、模型大小和人工工程经验；无法清晰归因。
真实机器人结果很有价值，因为它暴露了 zero-shot transfer 不成立、sim policy 过拟合 rendering artifact、real DAgger 比 sim DAgger 有效。但真机 final 规模有限、评分标准含主观/partial success、且作者没有 evaluation robot，结论更像 deployment robustness case，而不是严格泛化证明。
benchmark 本身还有一个隐含偏置：success checker 的 keypoint geometry 被直接用于 dense reward 和 auxiliary targets，这使训练目标与评估指标高度贴合。竞赛视角合理；研究视角下，这会放大方法在该 benchmark 上的适配性，弱化对开放家庭布料操作的外推。
Limitation
最根本限制是方法依赖一个已经不错的 base policy。如果初始 BC 成功率接近零，AWR/RECAP 很难启动，因为它们只强化已有好行为。它们不是探索算法，而是 policy sharpening 算法。
第二，核心监督依赖 privileged simulator signals：keypoints、success checker、可恢复 physics state、可批量 rollout。到了真实机器人，这些信号消失，作者只能关掉大部分 RL machinery，退回 action BC + completion/garment heads + DAgger。这说明方法并没有真正解决 real-world reward learning，只是在仿真中利用了可得的密集指标。
第三，增益归因严重不清。文中未充分说明哪些模块必要，很多设计可能互相替代。最终性能可能主要来自 scaling / data / test-time tuning / engineering，而不是某个核心算法突破。对于研究结论，应把它看成 recipe validation，而不是 mechanism validation。
第四，泛化并不等于真实开放泛化。unseen garment 表现不错，但 garment 类型、折叠目标、相机布局、机器人形态和成功标准都很固定。所谓 generalization 很可能主要是同一任务族内的 appearance/shape variation，而不是可组合任务泛化。
第五，长期 reasoning/planning 基本不存在。系统依靠短 chunk 高频重规划、soft inpainting 和 candidate selection，能提高局部稳定性，但没有显式长期状态记忆或 recovery search。一旦状态真正 wrecked，模型仍然缺乏自主恢复能力；作者也明确指出这是 open problem。
第六，test-time hyperparameter optimization 可能部分利用了 benchmark protocol。按 garment type 调执行参数、候选数、guidance scale，本质上是对固定评估分布做后验适配。它是非常实用的 deployment 技巧，但如果任务分布更开放，收益可能下降。
Takeaway
- 第一，flow-matching VLA 的 RL 改进更适合从“重加权好动作 + 条件生成好动作”入手，而不是直接套 PPO-style 负反馈。
- 这个方向的关键是保持动作在有效流形内。
- 第二，把 value/Q/progress heads 内嵌进 policy 是值得迁移的设计，尤其在 serving 成本高、critic 同步麻烦、任务指标可低维化的机器人场景。
- 但它需要认真处理 value drift、overfitting 和 privileged target 依赖。
一句话总结
这篇论文在 VLA 机器人方向里的位置，是一次强工程驱动的 flow-matching policy improvement recipe：它真正贡献的是把 advantage-based data shaping、policy-internal value/Q prediction 和 test-time conditional generation 组织成可赢竞赛的闭环，而不是提出一个可独立归因的新 RL 算法。