精读笔记

Problem Setting

这篇论文真正解决的是 causal decision making 中的“测试时协变量获取顺序”问题：面对一个新个体，完整 covariate vector 不可立即获得，只能在预算 γ 内逐步询问部分变量，然后基于 masked covariates 做 treatment decision。困难点不在于写出 CATE 定义，而在于 acquisition policy 的目标不是普通预测准确率，而是最终 treatment assignment regret；这要求被查询的变量不仅要预测 outcome，还要足够控制 treatment-outcome confounding，并区分对决策边界有影响的效应异质性。

以前方法卡在两个方向：标准 treatment effect estimation 默认 X 完整；missing data / imputation 通常把问题变成补全或鲁棒预测，没有主动决定“下一步测什么”；active feature acquisition 虽然做预算选择，但大多没有把因果识别条件和决策 regret 放在中心。这里的关键矛盾是：因果上希望观测所有潜在混杂变量，现实中只能买少量变量；静态变量重要性又无法适配个体状态。

Motivation

作者的核心观察是，在临床等场景中，信息获取本身是序贯的：医生不会一次性做完所有检查，而是根据已知信息决定下一项检查。这个过程天然像一个 POMDP/MDP 下的 test-time planning，而不是离线训练好一个固定 feature subset。

已有路线缺的是一个低成本、可迁移的 acquisition policy。训练专门 policy 需要大量带完整 covariates 和 outcome 的数据，还要处理成本、缺失模式和因果目标；而大模型已经编码了变量语义、领域常识和部分统计先验，因此作者尝试让 world model 通过 few-shot in-context examples 直接扮演 acquisition planner。换言之，动机不是提出新的 causal estimator，而是用 LLM 的外部知识和上下文适配来替代显式学习的 covariate acquisition policy。

Core Idea

核心思想是把“选择哪些 covariates”从一次性 subset selection 改成动态信息获取：每一步只暴露当前已查询变量及其值，让 world model 想象不同下一变量对最终因果决策的信息增益，并选择下一个最值得获取的变量。预算耗尽后，再用收集到的局部信息判断 treatment effect sign 或 Y(1)>Y(0) 关系。

这个建模方式引入的新 inductive bias 是：变量选择应当依赖当前个体状态，而不是全局固定排序。它重新组织了信息流：历史完整病例提供 few-shot pattern，变量名提供 domain semantics，当前个体已观测值提供 online conditioning，大模型在 test time 进行多步查询。与 prior 的本质区别不在 estimator，而在 acquisition policy 的来源：不是用监督学习/强化学习显式训练，而是让预训练 world model 通过 prompt 近似一个 value-of-information planner。

直觉上它可能有效，是因为很多真实变量之间存在强语义结构和低维因果相关性；如果 LLM 的医学/人口统计常识能识别哪些变量影响胎儿死亡风险、哪些变量与 birth weight effect 异质性相关，那么它能比 random 或静态 top-k 更快靠近决策相关的信息子集。但这只是直觉，文中没有证明这种“想象信息增益”与真实 causal value of information 一致。

Method

方法层面只有三个机制值得保留。

第一，把 covariate acquisition 形式化为序贯决策。state 是完整数据的部分可观测版本，action 是选择一个未观测 covariate 或停止。它解决的是静态选择无法根据个体反馈更新的问题。核心变化是 acquisition 从 dataset-level feature ranking 变成 patient-level adaptive sensing。

第二，用 in-context learning 近似 acquisition policy。prompt 中包含任务背景、变量名、少数历史完整案例及其 outcomes，让模型在没有参数更新的情况下生成下一步查询。这一步解决的是训练 acquisition policy 数据不足或成本高的问题，但也把能力来源转移到 LLM 预训练和 prompt 设计上。

第三，把最终目标设为 causal decision 而非完整 CATE 恢复。论文公式写的是 masked CATE 逼近 full CATE，并进一步最小化 regret；实验中实际更接近判断 Y1 是否大于 Y0。这个机制强调获取变量的目的不是重构全 X，而是收集足以改变决策的变量。问题是文中没有把 prompt 输出、潜在结果估计和 regret estimator 严格连接起来。

Key Insight / Why It Works

最可能有效的部分是 adaptive querying，而不是“world model”这个概念本身。一次性选择 10 个变量只能依赖全局先验；逐步查询可以在看到 gestational age、care adequacy、tobacco、hypertension 等变量后调整后续问题，相当于把预算集中到当前个体最不确定、最接近决策边界的因素上。这是 active feature acquisition / value-of-information 的经典优势，论文把它包装进 LLM prompt。

第二个有效来源可能是变量语义。Twins 的变量名非常可解释，LLM 很可能已经知道 gestational age、prenatal care、hypertension、diabetes、tobacco 等与 infant mortality 有关。也就是说，所谓 reasoning 很大程度可能是 semantic prior + retrieval，而不是从四个历史案例中真正学习 causal structure。尤其 prompt 里只有四个 history cases，声称“learn and identify critical covariates”并不可信；更合理的解释是 LLM 用预训练医学常识排序变量，再通过当前值做轻微条件化。

第三个来源是 test-time compute。progressive querying 让模型反复调用、反复重估，比 ask-all-at-once 给了更多推理步和更多机会修正。这类增益未必来自更好的因果建模，而可能来自更多 token budget、更强 prompt scaffolding 和交互式上下文更新。

最值得警惕的是因果性 claim。论文没有展示如何保证查询到 sufficient adjustment set，也没有估计 propensity、outcome model 或 doubly robust signal。若 acquisition policy 错过未观测混杂，后续 world model 输出再合理也不能“unbiased effect estimation”。因此这里的核心贡献更像“LLM-guided adaptive covariate acquisition heuristic”，而不是一个 causal identification method。

一些部分可能只是 engineering：要求模型“不要 greedy，要全局优化”没有可验证机制；simulated information gain 没有数学定义；使用 GPT-4 先筛 20 个变量会显著降低任务难度并引入隐藏监督。增益来源不清，可能主要来自 scaling / data coverage / prompt prior，而不是论文提出的 formal method。

Relation To Prior Work

最接近的谱系不是传统 world model theory，而是 active feature acquisition、sequential diagnosis、test-time information gathering、POMDP sensing、以及 causal inference under missing covariates。论文把这些思想用 LLM in-context learning 重新组织：world model 负责模拟变量价值，prompt 负责定义任务与状态，预算负责约束查询。

和 standard causal inference 的本质差异是：它不试图改进 treatment effect estimator，而是改进进入 estimator/decision rule 的 covariates subset。和 imputation 方法的差异是：它不先补全所有缺失变量，而是选择性获取对决策最有价值的变量。和 active learning/feature acquisition 的差异是：它利用变量语义和 LLM domain prior，避免训练一个专门 policy。

看似新的地方包括“world model imagination”“few-shot causal planner”“non-greedy global optimization”，但实质上很多是已有 sequential feature acquisition 的 prompt 化版本。真正新增的信息是：LLM 可以在没有显式 policy training 的情况下，用自然语言变量描述和少量历史案例充当 acquisition heuristic。这是实质创新，但更偏系统/范式尝试，而不是理论 causal contribution。

Dataset / Evaluation

评估非常不足。论文只使用 Twins，并且实验呈现为一个 case study：GPT-4 先选出 20 个变量，再设预算 10，对比 random、ask-all-at-once 和 progressive querying，最后报告某个案例的判断对错。这不能支撑文中关于 unbiased effect estimation、regret minimization 或 generalizable world model planning 的 claim。

任务覆盖范围窄：单数据集、单领域、二元判断、少量变量、无跨场景验证。没有真实 deployment，也没有临床工作流中的异质测试成本、延迟、噪声、拒测、隐私约束。更关键的是，实验没有系统评估 CATE/ITE/decision regret，也没有和已有 active acquisition 或 causal baselines 比较。

benchmark 是否验证核心 claim？基本没有。它验证的是“在一个可语义解释的 Twins prompt 中，progressive querying 可能选到更合理变量”。它没有验证 world model 是否真的模拟 counterfactual information gain，也没有验证动态策略是否在总体分布上优于强静态策略。evaluation bias 很明显：变量预筛、prompt 设计、少样本历史案例和最终人工式判断都可能影响结论。

Limitation

方法成立依赖几个强前提：第一，变量名和任务背景必须足够语义化，使 LLM 能调用预训练领域知识；变量匿名化后性能很可能大幅下降。第二，历史案例必须覆盖关键模式，否则 in-context examples 只是噪声。第三，预算内必须存在一个足够 adjustment/decision-relevant subset；如果关键混杂变量不可观测或成本过高，方法无法解决识别问题。

scalability 上限也不清楚。随着 covariates 增多、变量相关结构复杂、成本异质、outcome 稀有、treatment 多值或连续化，prompt-based exhaustive imagination 不一定可扩展。所谓 non-greedy global optimization 没有算法实现，实际很可能仍是局部启发式。

泛化是否真实存在高度可疑。核心能力可能主要来自数据覆盖和变量语义，而非抽象 causal reasoning。所谓 planner 实际没有形成长期状态建模；每一步只是基于当前 prompt 重新生成下一个变量。没有 memory consistency、uncertainty calibration、value estimate 或 policy evaluation。

还有一个根本问题：论文把因果估计问题转移给 world model，但没有审计 world model 的 counterfactual 输出。LLM 的潜在 outcome 判断可能受训练语料、benchmark overlap、变量名称 bias 和 prompt wording 影响。若有 benchmark leakage 或 implicit memorization，当前实验完全无法排除。

Takeaway

• 1. 值得记住的不是具体 prompt，而是把 causal decision 下的 covariate acquisition 视作 test-time value-of-information planning；这个视角比离线固定 feature subset 更贴近真实部署。
• 2. LLM 在这里最有价值的角色可能是 domain-prior-driven acquisition heuristic，而不是 causal estimator。
• 未来更靠谱的方向是让 LLM 负责提出候选查询/结构先验，再由可校准的统计 causal model 负责估计和决策。
• 3. 这个方向真正需要推进的是 evaluation 和 formalization：定义 causal value of information、引入 regret 曲线、和 active sensing/POMDP baselines 比较、在匿名变量和跨数据集场景下测试，才能判断是否超出 prompt engineering。

一句话总结

这篇论文把预算受限因果决策中的协变量获取 prompt 化为 LLM-guided adaptive querying，是 active feature acquisition 与 world-model prompting 的早期重组尝试，真正贡献在交互式信息流设计而非因果估计理论。