精读笔记
Problem Setting
这篇论文处理的是 frozen multirobot policy 的 deployment-time behavior steering，而不是重新训练一个更好的多机器人控制器。base policy 已经会导航、避障、到达目标，但 deployment 时需要表达额外偏好：跟踪速度曲线、保持队形、避开摄像头区域。这些偏好可能不在原始训练目标里，甚至不在原始 observation/action interface 直接支持的条件空间里。
关键矛盾是：如果直接 fine-tune，可能破坏原策略已经学到的稳定飞行和避障；如果在 action 层加 residual，又容易和 base controller 的低层动态补偿冲突；如果只做 fixed activation direction 或 linear probe intervention，又缺少闭环状态依赖，不能处理多机器人相互作用和随环境变化的行为权衡。
真正困难点在于 closed-loop compounding。一次 activation edit 不只是改变当前 action，它会改变机器人位置、队友相对状态、障碍观测，进而改变后续 policy activation。因此 steering 不能被看成静态 representation intervention，而必须被看成一个外层控制问题：控制对象是 frozen policy + SAE + simulator 组成的闭环系统。
Motivation
已有路线的问题不是不能 steering，而是 steering interface 太靠外。value guidance、trajectory reranking、diffusion latent steering、VLM reward guidance 等方法通常在 action/sample/plan 层面选择或偏置候选输出。它们适合已有 generative policy 或候选集足够丰富的场景，但对普通 end-to-end RL controller，尤其是高频多机器人控制器，输出端 steering 的表达空间很窄。
作者的核心观察是：policy 内部 representation 可能已经编码了速度、邻居关系、避障余量、目标趋近等可组合因素。部署时缺的不是重新学习 motor skill，而是一个可控、低维、闭环的接口，把这些内部因素按新目标重新加权或平移。
因此这篇工作的动机不是“SAE 更可解释”，而是用 SAE 把 dense activation 变成一个相对稀疏、可局部干预的控制坐标系；再用 RL 学一个小 steering policy，在运行时根据任务和状态决定怎么动这些坐标。
Core Idea
CLAE 的核心思想是把 frozen policy 的中间 activation 当作可控状态，把 behavior adaptation 当作 representation-space closed-loop control。它不是输出 action，也不是改 policy weights，而是在每个控制步截取一个融合了 self / neighbor / obstacle 信息的 activation，经 SAE 编码后，只对少数行为相关 latents 做仿射变换：latent' = m latent + c，然后再交给 frozen downstream action head 生成动作。
这个建模改变了信息流：外部 steering policy 不直接接管控制，而是调制 base policy 已有的内部计算。这样做引入了一个很强的 inductive bias：新行为应当通过已有技能 manifold 内的小幅 representation deformation 实现，而不是在 action space 里硬叠加控制信号。它理论上更稳，因为 downstream policy 仍然负责把 activation 映射到可执行 thrust；也更可迁移，因为 steering 只需要 white-box activation access，而不依赖特定 command interface。
和 prior 的本质差异在 closed-loop + affine + sparse latent 三者组合。单一固定方向 steering 只能表达全局偏置；linear probe intervention 假设目标变量在 raw representation 中线性可读且可控；CLAE 则承认行为目标是动态的、多因素的、闭环后果驱动的，因此让一个小 RL policy 在线选择 edit 参数。
Method
方法层面真正必要的机制有三个。
第一，选择中间 activation 而非 action 作为干预点。干预点位于 attention 融合 self、neighbor、obstacle 之后，意味着 edit 作用在已经整合多机器人上下文的 representation 上。它解决的是 action-level residual 缺少语义结构、容易破坏低层控制的问题；核心变化是让 frozen downstream layers 继续承担动作生成和稳定性约束。
第二，使用 SAE basis 和 behavior probing 缩小编辑空间。直接编辑 raw activation 会让 steering policy 面对高维、纠缠、难约束的控制空间，且更容易把 activation 推出训练分布。SAE 提供一个稀疏 feature basis，post-hoc correlation probing 再筛出与目标行为相关的 latents。这里的作用不是证明 latent 有严格语义，而是形成一个低维、局部、可约束的干预子空间。
第三，用 RL 学 state-dependent affine edit。m 控制已有 latent 的放大/抑制，c 允许注入当前 latent 中没有充分激活的偏移。multiplicative-only ablation 表明只做 gain modulation 不够，尤其对 formation 和 stealth 这种需要改变轨迹策略的任务。RL 是必要的，因为 edit 的监督信号不是单步标签，而是 rollouts 后的行为后果。
值得注意的是，CLAE 没有学习新的 dynamics model，也没有改变 action head；它把所有 adaptation capacity 放在 lightweight steering policy 上。这使得方法看起来像 inference-time editing，但训练 steering policy 本身仍然是一个 task-specific RL optimization。
Key Insight / Why It Works
这篇最重要的 insight 是：对机器人策略来说，activation steering 必须闭环化。LLM 里的 activation intervention 往往可以近似看作单次前向输出调制；机器人里一次 edit 会改变未来状态分布，因此固定方向或静态 probe 很快失效。CLAE 把 edit 参数变成状态反馈控制量，这是有效性的主要来源。
第二个关键点是它没有试图在 action space 学一个新 controller，而是复用 base policy 的 motor manifold。base policy 已经掌握飞行稳定、避障、目标趋近等难技能；CLAE 的 edit 只是在这些技能上施加行为偏好。换句话说，能力主要来自 base policy 的数据覆盖和已学 repertoire，CLAE 提供的是 representation alignment + test-time control，而不是从零获得新能力。
第三，SAE/probing 的作用更像 regularization 和 search-space shaping，而不一定是强解释性发现。论文没有证明选中的 latents 是单义、因果、可组合的；但实验显示限制在 probe-selected sparse latents 上比 full activation edit 稳定得多。这说明 SAE 的实际贡献可能是把 RL steering 的探索限制在相对安全的低维子空间，而不是提供人类可解释概念。
第四，affine edit 中 additive offset 很关键。multiplicative edit 只能调已有激活强度，适合“多一点/少一点”某种内部倾向；additive offset 能把 latent 推向当前状态下原本不会自然出现的区域，因此对速度跟踪、队形形成、stealth 这种需要改变轨迹模式的任务更有表达力。但这也带来风险：additive edit 更容易出 distribution shift，所以有界 Beta action head 和小 offset 范围是稳定性的工程核心。
我会把增益归因排序为：closed-loop state-dependent edit > sparse low-dimensional edit space > affine over multiplicative > SAE interpretability。PPO、reward shaping、Beta head 是必要工程支撑，但不是概念贡献。stealth 的“新行为注入”需要谨慎理解：它并不表明 policy 学会了摄像头语义规划，而是 steering policy 利用 camera-risk features 通过 activation edit 调制已有导航轨迹。这里更像 trajectory-level control over existing repertoire，不是 high-level reasoning。
Relation To Prior Work
这篇处在三条谱系的交叉处：frozen robot policy steering、activation/representation editing、multi-agent closed-loop control。
相对 value guidance、diffusion latent RL、VLM-in-the-loop steering，它的实质差异是干预位置从 policy 外部移到 policy 内部。外部 steering 更像选择或偏置输出；CLAE 是改变中间 computation，让原 action head 在 altered representation 上工作。这使它适用于非生成式、非语言条件的 RL controller，也避免训练 action residual controller。
相对 LLM activation steering 和 representation engineering，它的新增点不是“activation 可编辑”本身，而是把 activation edit 放入物理闭环。机器人场景中 representation intervention 的评价对象不是 token distribution，而是长期轨迹和多智能体交互后果，因此需要 state-dependent policy 来控制 edit。
相对已有机器人 activation editing，如固定 SAE decoder direction、linear probe control、Latent Activation Editing，CLAE 的实质创新是 learned closed-loop affine editing。固定方向方法只能处理较简单的单调偏置；probe intervention 假设行为变量线性可控；LAE 更偏安全 refinement。CLAE 把目标行为、环境上下文和队友状态纳入 edit policy，因而能处理 formation 这种 team-dependent objective。
不过，许多组件本身并不新：SAE、probe selection、PPO、Beta bounded action、affine steering 都是已有思想。论文真正新增的信息在于：这些组件组合成一个 representation-space feedback controller，并证明在多机器人物理任务上能稳定运行。
Dataset / Evaluation
评估设计基本支持论文的主 claim，但支持范围有限。三类任务覆盖得比较有层次：velocity tracking 测个体运动调制，formation control 测多机器人协调，stealth navigation 测训练目标外环境偏好。它们共同验证了同一 activation-editing interface 可以改变不同层级的闭环行为，而不是只对单一 safety metric 有效。
实验没有堆很多 benchmark，但 1000 episode 级别仿真加 Crazyflie 真机部署足以说明方法不是纯离线 artifact。真机部分尤其重要，因为 activation editing 很容易被质疑为仿真里脆弱的 representation hack；能在资源受限平台上 100Hz onboard 运行，说明工程接口足够轻。
但 evaluation 没有充分验证 generality。所有主要实验都围绕同一个 QuadSwarm simulator、同一个多旋翼 RL base policy、同一类导航任务展开。所谓“跨行为”更像同一动力学和 observation family 内的多 reward steering，而不是跨机器人形态、跨策略架构或跨感知模态泛化。
对 stealth 的 claim 也要保守。摄像头信息被直接提供给 steering policy，reward 明确惩罚 exposure，因此不是从 frozen base policy 中挖出了摄像头概念。它验证的是：给定新环境特征和 reward，steering policy 能通过 activation channel 改变轨迹；不是验证 base policy 内部已经有 exogenous semantic behavior。
Limitation
最核心限制是方法把 adaptation 问题从 policy weight update 转移到了 task-specific steering-policy training。虽然 base policy 冻结了，但每个目标行为仍需要 rollout metrics、latent selection、reward design 和 PPO 训练。对于真实部署中临时出现的偏好，这未必比 fine-tuning 更轻，只是风险边界不同。
第二，CLAE 依赖 base policy 的 latent repertoire。它能调制速度、队形、路径选择，是因为 base policy 已经具备稳定飞行、避障、目标导航和多机器人局部交互能力。若目标行为需要新的感知 grounding、新的长程规划或不在已有 motion manifold 内的技能，activation edit 很可能无能为力。核心能力可能主要来自 base policy 的数据覆盖，而 CLAE 是对覆盖区域内行为的重组。
第三，latent selection 对 exogenous behavior 缺少原则性。velocity 和 formation 至少能用 rollout 中的运动/几何指标 probe；stealth 只能用 lateral motion、heading change、clearance 等 trajectory-modulation proxy。文中未充分说明这些 proxy 在不同场景或不同 policy 上是否稳定，也没有证明选中 latents 的因果性。
第四，没有 closed-loop stability / safety guarantee。论文依靠有界 edit、Beta policy、SAE 子空间和 empirical rollouts 保持稳定，但这不是形式保证。对于高安全要求机器人，activation editing 的 failure mode 更难解释：一旦 edit 把 activation 推到 downstream 未覆盖区域，行为可能突然崩溃。
第五，scalability 到 VLA 仍是开放问题。大模型 activation 更高维、更层级化、更受 token/视觉上下文影响，SAE training、latent probing、edit location selection 都会复杂得多。当前 30 维左右的 intercepted activation 上证明有效，不等价于在 foundation policy 上可行。
第六，增益来源仍有部分不清。CLAE 与 fine-tuning、full activation edit、multiplicative-only 的对比说明设计选择有用，但没有系统拆分 SAE reconstruction error、latent count、layer choice、probe metric、reward shaping、PPO compute 等因素。部分提升可能来自较强的 task-specific RL optimization，而不是 activation interface 本身。
Takeaway
- 1. 对机器人策略做 activation steering，必须把它当成闭环控制问题，而不是静态 representation surgery。
- 这是这篇最值得迁移的观点。
- 2. Frozen policy adaptation 的一个有效方向是：不在 action space 加 residual，而是在 policy 内部找到低维可控 representation 子空间，让原 downstream controller 继续负责动作生成。
- 3. SAE 在这里的价值更偏向“安全可搜索的干预坐标系”，不必过度解读为发现了可解释语义 feature。
一句话总结
CLAE 是把机器人 frozen policy steering 从输出端偏置推进到内部表示闭环控制的一步，真正贡献在于用稀疏 latent 上的有界、状态依赖仿射编辑复用 base policy 的运动能力，而不是重新学习控制器。