精读笔记

Problem Setting

论文题目：ARP: Enhancing Quantized Skill Abstractions via Visual Alignment and Iterative Refinement for Robotic Manipulation（arXiv preprint / 2026）。

这篇论文不是在解决一般 visuomotor policy 的表达能力问题，而是在修补 discrete skill abstraction 用于长程操控时的两个核心断点：token 选不准、token 执行不精。action-only discrete skill 的优点是把长动作序列压缩成 reusable primitives，适合长程组合；但它的弱点也很明确：token 本身不知道当前视觉目标是谁，Stage-II 只能靠上下文到 token 的监督学习去补语义映射，容易在多物体、多语言、多目标变化下产生 semantic ambiguity。

真正困难点在于 skill abstraction 有一个内在张力：如果 Stage-I 直接 condition on observation，技能会吸收背景、物体外观、场景布局等 spurious correlation，复用性下降；如果完全 action-only，技能空间又缺少视觉可寻址性。另一个困难是离散化本身与机器人连续控制天然不匹配，尤其在 contact-rich / precision-critical 操作里，token 级别的 reconstruction error 会沿长程 rollout 放大。ARP 试图同时处理这两个矛盾，而不是只做更大的 policy 或更强的生成模型。

Motivation

已有路线不够的原因很具体。observation-based skill learning 有 semantic grounding，但会把“怎么动”和“在什么场景里动”纠缠起来，导致技能不像可复用 action primitive；action-centric tokenization 保留了动作原语的干净性，但视觉和 token 空间没有显式对齐，Stage-II 的 token selection 更像黑盒分类，缺少结构化 grounding。

作者的核心观察是：state-independent decoder 这个设计本身是对的，不应为了语义 grounding 牺牲它；真正缺的是一个不污染 decoder 的 visual-to-action-latent interface。换句话说，视觉不应该参与生成动作原语，但应该学会索引这些原语。第二个缺口是 precision：离散 token 适合表示 coarse behavior，不适合毫米级控制；与其增加 token granularity 或换更重的 diffusion head，不如在 decoded action 后面加一个轻量 residual corrector。

所以 ARP 的动机可以概括为：保留 action tokenizer 的 compositional prior，同时补上视觉寻址和连续精度两个接口层。

Core Idea

ARP 真正改变的是信息流组织方式。它没有把视觉信息塞进 Stage-I decoder，而是把视觉 embedding 对齐到 action encoder 的 pre-quantized latent。这个选择很关键：action latent 仍由动作序列定义，decoder 仍然 state-independent，因此 skill 仍主要表示“运动方式”；但视觉侧被训练成能落到同一个 latent neighborhood，从而让 Stage-II 在选择 token 时更少依赖纯监督分类的偶然映射。

直觉上，这相当于把 discrete skill 从“仅动作压缩码”变成“可被视觉语义寻址的动作码”。它引入的 inductive bias 是：视觉表示应该按照可执行动作的等价类组织，而不是只按照图像语义或任务标签组织。这比 observation-conditioned decoder 更 scalable，因为它避免每个场景都重塑 skill；也比纯 action tokenizer 更 generalizable，因为 token selection 有了视觉-动作结构约束。

第二个核心思想是 coarse-to-fine：离散 skill 负责长程结构和多模态选择，IRH 负责局部连续修正。它不把残差修正做成完整 generative policy，而是限制为两步、监督式、低开销的 residual refinement。这说明作者认为主要难点不是从零生成动作分布，而是在一个合理 coarse action 上修 quantization error。

Method

关键机制一：action-only FSQ skill tokenizer。它解决的是长程动作序列的压缩和复用问题。FSQ 相比 VQ 少了 codebook collapse 和 utilization heuristic，可能让 skill space 更稳定；但这里 FSQ 更像一个稳健 tokenizer 选择，不是概念上的主要创新。

关键机制二：visual-action alignment。它解决的是 action token 与视觉语义脱钩的问题。对齐对象不是 quantized token，而是 pre-quantized action latent；并且 action latent stop-gradient，避免 contrastive loss 反向改变 action abstraction。这一点机制上重要，因为它把视觉表示拉向动作空间，而不是让动作空间迎合视觉分类。

关键机制三：state-independent decoder 保持不变。它解决的是 observation-conditioned skill 过拟合的问题。作者没有推翻 QueST 式两阶段范式，而是在其接口处加 grounding，这比直接让 decoder 看图像更克制，也更符合 reusable primitive 的假设。

关键机制四：IRH residual refinement。它解决的是离散化后的连续控制误差。base action 来自 decoded token，IRH 只预测 ground-truth 与 base action 的残差。两步 refinement 加训练时噪声，本质是轻量 test-time correction，而不是完整 diffusion/flow policy。

关键机制五：Stage-II prior 与 residual 联合训练。它把 token prediction 和 residual correction 放在同一上下文下优化，但这里的 novelty 较弱；更重要的是 residual 权重 warm-up 暗含一个 curriculum：先让 coarse prior 可用，再强化精细修正。

Key Insight / Why It Works

最可能真正有效的是 representation alignment，而不是某个具体网络模块。ARP 把视觉表征的组织原则从“看起来像什么”改成“对应什么可执行 action latent”。这对多任务操控很关键，因为许多任务的视觉差异不应对应不同动作原语，而一些视觉上细微但任务相关的差异又必须改变 token routing。InfoNCE 在这里起到的是 latent retrieval interface 的作用：让视觉上下文更容易检索到正确技能簇。

第二个有效点是把离散 skill 的能力边界划清楚。离散 token 很适合表示 temporally extended, multimodal, reusable behavior，但不适合承担末端位姿和接触细节。IRH 把后者作为 residual correction 处理，属于更好的 inductive bias，而不是更强的生成建模。两步优于一步、三五步几乎不涨，说明收益来自“允许一次再修正”的结构，而不是靠大量 test-time compute。

FSQ 的收益可能部分是真实的工程稳定性：没有 learned codebook，训练更少 collapse，token utilization 更自然。但如果说 ARP 的核心贡献是 FSQ，就过度解读了；FSQ 更像把底座做稳。真正新增的信息是：visual alignment 不破坏 state-independent action decoder。

需要警惕的是，所谓 semantic grounding 可能没有达到概念级语义。它更可能是 paired visual embedding 到 action latent 的检索式对齐，在 LIBERO/Meta-World 这种任务分布相对固定、demonstration 覆盖较强的设置下非常有效。所谓 long-horizon reasoning 也可能主要是 skill retrieval + autoregressive rollout，而不是显式任务分解或规划。文中没有充分证明模型能在新组合、新物体 affordance 或未见分支逻辑上泛化。

我的判断：ARP 的核心贡献是一个干净的接口设计——不让视觉污染技能生成，但让视觉学会索引技能；IRH 是重要但偏辅助的 coarse-to-fine execution patch；其余很多改进可能是 engineering stabilization。

Relation To Prior Work

ARP 最接近 QueST、VQ-BeT、Discrete Policy、CARP 这条 discrete skill / action tokenization 谱系，而不是 diffusion policy 或 VLA generalist policy。它继承了两阶段范式：先学 action tokenizer，再学 observation-conditioned token prior。真正不同点在于，它没有接受 action-only tokenizer 的语义盲区，也没有走 observation-conditioned decoder 的路线，而是在 latent interface 上做 contrastive grounding。

与 QueST 的本质差异是：QueST 强调 state-independent skill 的复用性，但视觉到 skill 的映射完全交给 Stage-II；ARP 在 Stage-I 就塑造视觉表征，使其与 action latent 对齐。与 VQ-BeT/BeT 类方法相比，ARP 更明确地区分 coarse discrete action 和 fine residual correction，且 residual 不是一次性 correction，而是轻量 iterative refinement。

与 LISA/SkillDiffuser 这类 semantic skill 方法相比，ARP 的语义不是来自语言解释性或 observation-conditioned skill discovery，而是来自视觉 embedding 与动作 latent 的配对对齐；它牺牲了一部分可解释性，换取不破坏 action primitive。与 diffusion/flow policy 相比，ARP 不追求从连续分布中生成整段动作，而是用离散 prior 加局部 residual，计算上更轻，归纳偏置更强。

看似新的部分中，contrastive alignment、residual refinement、coarse-to-fine 都不是新思想；实质创新在于把它们放到 state-independent discrete skill 框架中的位置比较准确：alignment 只作用于视觉寻址，refinement 只作用于量化误差。

Dataset / Evaluation

评估覆盖了两个层次：LIBERO 用来验证多任务、语言条件、长程组合；Meta-World 用来验证细粒度连续控制和 precision-critical manipulation；真机 Kuavo 任务用来验证 sim 外部署可能性。整体上，这些 benchmark 与论文 claim 是匹配的：LIBERO-Long/Object 支持 semantic token selection 的 claim，Meta-World Hard/Very Hard 支持 residual precision 的 claim。

不过 evaluation 仍有明显边界。LIBERO 和 Meta-World 都是强 benchmark，但任务分布、物体类别、语言模板和 demonstration policy 都相对规整，不能充分证明 open-ended generalization。Meta-World 的 single-task setting 也弱化了真正多任务组合压力，它更多验证控制精度而不是语义泛化。

真机实验有价值但规模偏小：两个任务、每项十次 trial，能说明方法在真实噪声下不是完全脆弱，但不能支撑广泛 real-world generalization。尤其 Task 2 总成功率仍低，说明 bimanual coordination、contact recovery、conditional branching 仍远未解决。

消融较有针对性，能说明 alignment 与 IRH 都有贡献，且组合存在互补。但增益来源仍不完全清晰：FSQ、alignment、IRH、训练 curriculum 和实现细节可能共同贡献，文中没有充分隔离 data scaling、视觉 encoder 选择、token length/code size 等因素。

Limitation

第一，方法成立依赖 demonstration 覆盖。visual-action alignment 本质需要 paired visual/action latent 正样本；如果训练数据没有覆盖某类视觉状态到动作原语的映射，模型很难凭语义推断出新技能组合。所谓泛化很可能是分布内重组，而不是强 out-of-distribution generalization。

第二，alignment 可能学到 shortcut。InfoNCE 会把同 batch 的视觉和动作 latent 拉近，但不保证学到因果 affordance 或任务语义；在 benchmark 中，物体、背景、语言和动作往往高度相关，因此视觉 embedding 可能利用 dataset-specific correlation。文中未充分说明如何避免 benchmark overlap 或 implicit memorization。

第三，IRH 只修正局部误差，不能修正错误 skill。若 prior 选错 token，residual head 可能没有能力从错误 coarse action 跳到正确行为模式。它解决的是 quantization-induced precision loss，不是 planning failure 或 semantic misrouting 的完整解决方案。

第四，长程能力可能被高估。Autoregressive token prior 并不等于长期状态建模；在许多任务中，它可能只是根据当前视觉上下文检索下一段常见技能。没有看到对未见任务组合、长延迟依赖、失败恢复、branching memory 的强验证。

第五，真实部署上限仍受闭环恢复限制。论文自己的 failure case 已经显示 failed grasp/suboptimal grasp 后缺少 recovery。对于真实工厂或家庭场景，局部 residual correction 不足以处理接触不确定性、物体物理差异和长期误差恢复。

第六，scaling 方向不明。FSQ token 数、skill horizon、视觉 encoder 容量、demonstration 数量增加后，alignment 是否仍稳定，负样本是否足够，latent 是否会变得语义混杂，文中未充分说明。

Takeaway

• 1. 最值得迁移的 insight 是：不要为了 semantic grounding 直接 condition skill decoder；更好的做法是保持 action primitive 干净，同时训练视觉表示去索引 action latent。
• 2. 离散技能适合做 coarse behavior prior，不适合独自负责精密控制。
• 未来 discrete policy 很可能都会走 token prior + continuous residual/refinement 的混合路线。
• 3. 对机器人而言，representation alignment 的对象应该是可执行结构，而不只是图像语义或语言标签。

一句话总结

ARP 是 discrete skill policy 从“动作压缩 token”走向“视觉可寻址 coarse skill + 连续 residual refinement”的一次务实演化，真正贡献在于用不污染 action decoder 的对齐机制补上语义路由，并用轻量修正补上量化精度。