精读笔记
Problem Setting
[Critique of Agent Model]（arXiv preprint / 2026）
这篇论文实际解决的是 agent 建模中的边界问题：什么时候一个系统只是被 workflow 包起来的自动化工具，什么时候它可以被称为具有内生 agency 的 agent model。作者关心的不是让某个 coding agent 或 robot 在 benchmark 上多涨几点，而是指出当前“agent”能力的归因错位：很多能力来自外部脚手架，而不是模型内部的目标维护、身份演化、规划、自我调节和持续学习。
真正困难点是开放世界中的行为组织无法靠枚举工具、prompt、技能和固定 loop 扩展。短程任务可以靠用户逐步给目标，复杂任务则需要系统自己决定子目标、估计自身能力、预测行动后果、分配推理资源并从经验中更新。关键矛盾是 controllability 与 autonomy：外部脚手架提高可控性，但也把 agency 的核心结构留在系统外；内生化这些结构可能提高泛化和持续适应，但会带来训练、审计和安全问题。
Motivation
作者的核心观察是：当前 agentic 系统的“智能”很大一部分是工程组织能力，而不是模型能力。LLM wrapper、tool-calling pipeline、多 agent orchestration、固定 plan-act loop、MPC 控制栈，本质上都把目标、身份、规划和学习流程外包给人类设计者。
已有路线不够的原因不只是模块不全，而是建模位置错了。目标由用户一轮轮提供，身份由 system prompt 写死，规划由固定 workflow 触发，训练由人类调度，学习在部署前结束。这种系统可以很强，但不具备持续自主组织行为的机制。作者要补的缺口是一个 Agent Model：把这些 agency-relevant variables 显式变成模型内部状态和决策变量，并让它们通过经验更新，而不是继续堆更复杂的 harness。
Core Idea
论文真正的核心思想是 agency internalization：把 goal、identity、decision mode、learning schedule 从外部工程流程迁入模型内部，并用一个单独的 world model 提供可查询的后果模拟。Agent model 决定 what to do，world model 预测 what will happen；这一区分是全文最重要的 inductive bias。
相比 prior，这不是简单增加 memory、planner 或 tool use，而是重新组织因果角色：goal decomposer 负责把长期目标变成可执行意图，identity evolver 负责快速修正自我状态，planner 通过 world model 做 counterfactual simulation，configurator 决定是否值得规划或学习。理论直觉是，如果行为组织变量显式化，系统就能在更长时间尺度上复用计划、校正自我假设、按需使用 test-time compute，并把失败归因到具体结构，而不是黑盒策略中的隐式表示。
本质差异在于 prior agent 多是“模型 + 外部控制程序”，而 GIC 试图成为“模型内部带控制结构”。如果成立，它的 scalability 不来自继续手写更多 workflow，而来自学习一组可组合的 latent control variables。
Method
方法层面最关键的不是 GIC 有几个模块，而是每个机制都对应当前 agentic 系统外部化的一个环节。
第一，hierarchical goal decomposition 解决长程目标不能由用户逐步喂给的问题。它把长时域 credit assignment 转成子目标生成与重排，使短程执行能力可以服务长期目标。核心变化是目标不再只是 prompt，而是 agent 内部持续维护和修订的控制变量。
第二，identity evolution 解决静态 system prompt / role description 无法适应环境的问题。identity 被当作快速更新的 self-model，用来编码能力、约束、关系和角色假设。它的作用不是人格化，而是提供 test-time adaptation 的低成本通道。
第三，simulative reasoning 解决 CoT 或黑盒 policy 缺少 grounded dynamics 的问题。规划不再依赖语言链条的叙事合理性，而依赖 action-conditioned world model 对后果的预测。核心变化是把 planning 从 token-space plausibility 拉回 state-transition consistency。
第四，configurator 解决固定 workflow 与无约束 reasoning 都不可靠的问题。它学习何时直接反应、何时继续旧计划、何时重新规划、何时学习。这个机制的实质是 test-time compute routing，而不是又一个 planner。
第五，self-directed learning 解决部署后冻结的问题。agent 不只被训练一次，而是把真实经验和模拟经验纳入持续改进，并由 configurator 调度。这里真正的变化是 learning schedule 也成为 policy 的一部分。
Key Insight / Why It Works
最有价值的 insight 是 AM/WM 分离。很多所谓 world-action model 把预测和行动放进同一模型，工程上可能方便，但会混淆两个目标：预测要 faithful，行动要 reward-seeking。一旦 world model 被 reward objective 污染，planner 可能 exploit simulator；一旦 policy 被要求同时承担 next-state fidelity，行动学习又会被不必要地约束。作者坚持 world model 只学 dynamics，agent model 只学 intentional action，这是一个清晰且可迁移的归因框架。
第二个关键 insight 是把 self-regulation 显式化。当前很多系统的 test-time compute 增益来自“想更久”或固定 plan loop，但何时想、想多深、是否复用计划，通常不是模型学到的。GIC 的 configurator 若能学好，本质上是在做 compute allocation policy，这可能比单纯 scaling reasoning tokens 更重要。这里的增益如果出现，可能来自 better inductive bias + memory reuse + adaptive test-time compute，而不只是模型更大。
第三个 insight 是 identity 作为 fast adaptation variable。这个想法有潜力，因为很多部署失败不是知识缺失，而是系统没有稳定更新“我现在能做什么、不能做什么、和谁有什么关系”。不过这也是最悬的部分：identity quality 如何定义、如何监督、如何防止自我叙事漂移，文中未充分说明。
需要直接判断：论文中若干 theorem 更像 design rationale，而不是强证明。Theorem 2 依赖 reasonably accurate WM；Theorem 4 的“simulated+real 不差于 real-only”部分有包含关系味道，实际难点在 model bias 和 distribution shift；Theorem 1 对 identity revision 的假设很强。它们说明方向合理，但没有证明 GIC 在现实规模下可训练。
哪些可能只是 engineering / scaling：goal-oriented data、large world model、simulative RL、structured attention、multi-agent nested simulation，都可能主要依赖 data coverage 和 compute scaling。真正新增的信息不是这些组件本身，而是它们的功能分离和信息流约束。
Relation To Prior Work
这篇属于 model-based RL、cognitive architecture、LLM agent、world model、continual learning 的交叉谱系。它和 ReAct/Reflexion/AutoGen/Claude Code/Cursor 等 agentic LLM 系统的区别在于：后者把 planning、reflection、tool use、memory 多作为外部 loop 或 prompt protocol；GIC 试图把这些变成 agent 内部的 latent variables 和 learned routing。
和 classical model-based RL / MPC 最接近的是 simulative planning，但作者反对 always-on fixed-horizon MPC，认为关键是由 configurator 自适应决定规划深度。这里并非发明 planning，而是把 planning 的触发和资源分配纳入 policy。
和 world-action model / VLA / embodied generalist model 的关系更微妙。那些路线通常追求端到端统一模型，甚至把 action generation 纳入 world model。作者的实质反驳是：架构可以集成，但训练目标和功能角色必须分离，否则 prediction fidelity 与 reward optimization 会相互污染。
哪些看似新其实是重组：goal hierarchy、self-model、System I/II、model-based planning、simulated RL、continual learning 都不是新概念。实质创新在于提出 agentive vs agentic 的边界，并把五类 agency 结构组织成一个可审计的 AM/WM 分离框架。
Dataset / Evaluation
论文没有提供完整实证 evaluation，更多是提出 PEG：Performance、Efficiency、Growth。这个 evaluation 方向是合理的，因为固定 task success 不能验证 endogenous agency；真正需要看长程目标分解、跨环境身份适应、规划资源分配和持续学习曲线。
但从证据角度，当前 evaluation 只停留在 proposal。文中提到 companion manuscripts 和 preliminary results，但本文本身没有展示 GIC 在真实机器人、长程开放世界、多 agent 或持续部署中的系统性结果。因此它的核心 claim——agentive system 比 scaffolded agent 更 scalable/generalizable——尚未被实证支撑。
尤其是 Growth 最关键但也最难评估。若没有严格控制经验预算、任务 overlap、world model 训练数据覆盖和 simulator leakage，很容易把“持续学习”误判为数据覆盖或 benchmark overlap。真实世界 / 真机验证基本缺位，安全与可控性也主要是结构论证，不是 deployment evidence。
Limitation
最大前提是存在足够好的 world model。几乎所有关键机制都依赖它：goal decomposition 要模拟子目标后果，identity evolution 要模拟自我表现，planner 要预测状态转移，configurator 要评估 deliberation mode，learning 要在模拟中练习。若 world model 在长程、社交、物理细节或罕见事件上失真，GIC 可能只是把错误更系统地放大。
第二，identity 是高风险抽象。它被赋予能力估计、约束、关系、价值和 moral commitment 等功能，但这些维度的表示、监督和评估文中未充分说明。所谓 adaptive identity 可能退化成可写 memory / prompt state；如果没有 grounded feedback，它也可能变成自我叙事而非可靠 self-model。
第三，configurator 的训练信号不清。何时规划、规划多深、何时学习、何时停止、何时拒绝行动，这些元决策的 reward 很稀疏且容易被短期效率目标扭曲。增益来源不清：可能来自真正的 meta-cognition，也可能只是 learned heuristic over benchmark distribution。
第四，安全论证偏乐观。把 harmful behavior 归因到 goal misspecification 或 component imperfection，并不等于这些错误可发现、可局部修复、可在真实部署前消除。模块可审计是优势，但在高维 latent planning 中，显式变量未必语义可靠。
第五，方法可能把问题从“如何写 workflow”转移为“如何训练一组更难的内部模块”。这在概念上更干净，但工程上不一定更容易。若核心能力最终主要来自大规模 goal-oriented data、world model scaling 和 simulative RL，那么 GIC 的贡献更像架构归因框架，而非已经验证的 agent learning recipe。
Takeaway
- 1. 最值得记住的是 AM/WM functional separation：预测现实和选择行动应保持目标函数分离，即使架构端到端集成。
- 2. agent 的下一步演化不应只是更复杂 tool orchestration，而是把 goal、identity、planning、learning schedule 等行为组织变量内生化。
- 3. self-regulated test-time compute 可能比固定 CoT / 固定 MPC 更关键；未来强 agent 需要学会何时不思考、何时深思、何时复用旧计划。
- 4. 真正值得做的实验不是短程 benchmark，而是受控经验预算下的 Growth：系统是否能自己发现弱点、调度模拟练习、迁移到新环境。
一句话总结
这篇论文的贡献不是一个已被实证验证的新 agent 系统，而是把 LLM/机器人 agent 从外部脚手架范式推向 AM/WM 分离、内部目标/身份/调节结构可学习化的 agentive architecture 纲领。