精读笔记

Problem Setting

这篇论文解决的不是一般的 language-conditioned manipulation，而是部署后的 policy steering：用户临时给出训练时未指定的偏好，系统要在不重训的情况下改变行为策略。难点在于偏好通常作用在语义/时序层，而失败发生在物理执行层；仅改变高层 plan 不保证低层 controller 能执行，直接改动作分布又很难表达离散/时序偏好。以前方法分别卡在两端：端到端方法需要 fine-tuning、reward/guidance 或专家约束；神经符号方法能改 plan，但 symbol-to-controller 接口固定，容易产生逻辑上合理、物理上不可行的行为。关键矛盾是：steering 既要改变 task structure，又不能离开 controller 的 executable support。

Motivation

作者真正的动机是补上 semantic preference 与 continuous controller 之间的 grounding gap。现有路线缺的不是更强的语言理解，而是一个能承载偏好、同时又和训练数据动作分布对齐的中间表示。ENAP 给了一个合适入口：它把 visuomotor policy 分解成 state-machine skeleton 和 residual controller，skeleton 不是人工写的符号层，而是从 demonstration 中 emergent 出来的，因此天然带有物理可执行性的痕迹。ReStruct 的想法就是：既然 skeleton 是 policy 内部的任务结构，就不要在外面加 planner，而是在这个结构本身上做偏好重构，并把重构后的结构重新接回动作先验。

Core Idea

核心思想可以概括为 physically-aware task-structure reconfiguration。用户偏好先被表示成一个 automaton，它不是作为外部 verifier 使用，而是与 policy 自身的 learned skeleton 做 synchronous product；因此 steering 不是对动作采样加软约束，而是直接改变 policy 可遍历的任务拓扑。这个 product skeleton 只保留偏好一致的 trace，相当于把偏好变成 policy 内部的结构性 inductive bias。

更关键的是，作者没有停在符号层。product 之后，每条边的 action prior 被通过 replay 重新填充，只保留那些既能被新 skeleton 接受、又真实出现在示范中的动作片段。这样信息流被重新组织为：language preference → automaton constraint → steered task topology → demonstration-supported action priors → frozen controller。和 prior 的本质区别在于，它不是让语言直接控制动作，也不是让 planner 调用 skill，而是重新索引已有行为分布，使偏好约束落在可执行行为子空间内。

Method

方法层面最重要的机制有三点。第一，偏好到 DFA、DFA 与 PMM skeleton 的 product，用来解决“偏好必须成为硬结构约束”的问题；这一步把自然语言偏好转成可验证的 trace-level filter，但它本身不保证可执行。第二，trajectory replay 重新填充 product-edge 的 action-prior list，用来解决“结构改了但 controller grounding 没改”的问题；这一步是论文的关键，因为它把 symbolic edit 重新绑定到 demonstration support。第三，低层 controller 冻结，只通过 attention over action-prior list 选择 prototype，再用 residual 修正并 clamp 到候选动作范围；这不是为了更强表达能力，而是为了让 steering-induced prior shift 不至于把 controller 推到训练外输入。

VLM cluster refinement 是实用上必要但概念上辅助的部件：当原 cluster alphabet 不足以表达偏好时，它把 coarse symbol split 成更细语义单元。这个机制解决的是 expressivity bottleneck，但也引入了不稳定性和隐式监督来源。

Key Insight / Why It Works

最核心 insight 是：inference-time steering 的瓶颈不是 preference specification，而是 preference-grounded executable support。ReStruct 有效主要因为它把偏好满足问题变成了对 demonstration-induced latent structure 的筛选和重组，而不是让控制器学习新行为。它利用了三个强 inductive bias：statefulness 提供历史记忆和 mode commitment；automaton product 提供硬时序约束；trajectory replay 提供物理 grounding。

最可能的核心贡献是 replay-based re-grounding。没有它，product automaton 只是传统 neuro-symbolic filtering，仍然会把旧动作先验接到新语义边上，导致物理不可行。attention/clamp 更像工程性稳定器：它缓解多 prior 输入和 steering 后 prior shift，但不是主要思想。VLM-to-LTL 也不是本质创新，更多是把已有 language-to-spec 工具接入 pipeline。

技术上，这个方法更像 structured retrieval + memory reuse，而不是开放式推理。所谓 compositional OOD 主要是“行为片段均已见过、组合未见过”的 OOD；如果底层接触模式或动作原型未覆盖，方法没有机制生成新能力。因此它的泛化更接近 latent structure recombination，而不是真正的 skill invention。实验中的一部分增益可能来自更好的 inductive bias 和 stateful mode selection，而不是 scaling；但数据覆盖仍是硬上限。

Relation To Prior Work

最接近的谱系有三条：ENAP/automaton policy、neuro-symbolic planning for manipulation、inference-time steering of diffusion/VLA policies。相对 ENAP，ReStruct 的新增点不是学出 skeleton，而是把 skeleton 变成可编辑、可 product、可重新 grounding 的 steering interface。相对传统 neuro-symbolic 方法，它的差异在于符号层不是外接 planner，而是从 policy demonstration 中抽取并反向影响 action prior，因此 edits 能传播到控制接口。相对 diffusion/VLA steering，它不在连续动作分布里做 soft guidance，而是在任务结构层做 hard reconfiguration。

看似新的部分如 LTL、DFA product、language-to-spec、prototype action prior 都有已有思想来源；实质创新是把这些拼成一个闭环：符号偏好约束不再停留在 plan space，而是通过 replay 重新绑定到 low-level executable priors。也就是说，真正新增的信息不是一个新 planner，而是“edited symbolic structure 与 frozen controller 之间的再对齐机制”。

Dataset / Evaluation

评测覆盖仿真复杂操作、CALVIN 长程任务和真实世界 manipulation，范围比常见单一 tabletop benchmark 更广，能一定程度支持其 claim：ReStruct 对 object-centric、trajectory-level 和 temporal constraints 都能工作。真机 CanSorting、PassTeaPot、ConeCover 有价值，尤其能检验 spatial memory、look-ahead trajectory shaping 和组合偏好。

但 evaluation 仍主要验证 physically in-domain / compositional OOD，而不是真正开放 OOD。所有成功案例基本要求行为片段、接触模式、动作原型已经在 demonstration 或相关任务中出现；因此实验支持“可重组经验的 inference-time steering”，不支持“新技能泛化”。与 VLA 的比较也需要谨慎：VLA 用 prompt injection，而 ReStruct 使用专门结构和任务内 demonstration skeleton，二者接口和 supervision 形态不对称。文中未充分说明 VLM cluster refinement 出错时系统如何退化，也没有充分量化 language-to-LTL 错误对最终性能的影响。

Limitation

最大限制是方法把问题从“如何学习新偏好”转移为“示范数据中是否存在可被重组的偏好满足轨迹/片段”。如果 demonstration support 不覆盖目标行为，product skeleton 和 replay 只会剪枝到空集或错误先验；controller 冻结意味着无法修复缺失的物理技能。所谓 compositional generalization 的边界非常明确：可以组合已见行为，不会创造未见行为。

第二个限制是 skeleton quality。ENAP 抽取的 PMM 必须同时满足语义可解释、时序稳定、动作可接，这在复杂接触、多对象遮挡、长程任务中不一定成立。cluster refinement 依赖 VLM，可能引入 hidden supervision；如果 VLM split 错 cluster，后续 automaton product 会非常自信地执行错误结构。第三，scalability 未充分说明：更大任务、更细 alphabet、更复杂 LTL 会造成 product-state explosion、replay sparsity 和 action-prior coverage 下降。第四，增益归因仍有不清楚处：statefulness、replay、prototype prior、ENAP 本身、多模态数据覆盖各自贡献没有被完全拆开。

Takeaway

• 最值得记住的是：inference-time steering 需要的不只是 preference interface，而是 preference 与 executable support 的再对齐机制。
• ReStruct 把 policy 内部 latent task structure 变成 steering handle，这比在黑盒 controller 外面加 planner 更有迁移价值。
• 这篇真正推动的是一种方向：把 learned policy 组织成可编辑的结构化 memory，然后在 test time 通过 symbolic constraints 检索和重组 memory。
• 未来更值得做的不是继续包装 LTL/VLM，而是研究如何从 diffusion/VLA 中自动抽取类似可编辑结构，如何在 replay support 不足时主动补数据或生成安全的新 priors，以及如何量化 steering 后的 support coverage。

一句话总结

ReStruct 是一类“结构化检索式 inference-time steering”方法：它的实质贡献不是让机器人理解新偏好，而是把偏好编译进 learned automaton skeleton，并通过 demonstration replay 把符号编辑重新接回可执行动作先验。