精读笔记
Problem Setting
论文处理的是 ACP 的“workflow autonomy evaluation”问题：一个 agentic harness 能否把病理分析目标变成可执行、可审计、临床边界受控的计算流程。关键矛盾是，病理任务的最终输出看起来可以很完整，但真正决定可信度的是中间证据链是否没有断：WSI 输入、label reference、endpoint、metric、模型输出、报告措辞必须对齐。以前的 pathology benchmark 卡在 prediction-centric，评估 representation 或 WSI-to-label accuracy；agent benchmark 则卡在 generic tool-use，缺少病理 endpoint 和 clinical claim boundary。这里真正难的是跨步骤的 evidence binding，而不是再做一个分类器或再让 LLM 写一个 report。
Motivation
已有路线不够，是因为它们默认最终 artifact 可以代表能力。对 ACP 来说这是错的：agent 可以正确理解任务、写出合理报告，却没有真正调用正确工具、没有找到正确输出、没有用正确 metric，甚至把 retrospective prediction 写成 clinical diagnostic authority。作者的核心观察是 measurement gap：医学 agent 的失败往往不是“不会说”，而是“说的东西没有被同一条 workflow 的证据支持”。因此缺的不是更大的 model leaderboard，而是一套能追踪 task intent → tool execution → result binding → report boundary → reflection repair 的评估标准。
Core Idea
核心思想是把 autonomous computational pathology 定义为 evidence-preserving workflow conversion，而不是 autonomous diagnosis。ACP-Bench 不问 agent 最后说了什么，而问它在完整轨迹中是否持续保留了任务目标、数据来源、执行产物、评估指标和临床声明边界。
这个改变本质上引入了一个更强的结构先验：病理 agent 的可信度来自流程内的信息守恒。endpoint 不能在报告阶段漂移，metric 不能脱离 label reference，reflection 不能只写 critique 而没有 rerun evidence。相比 prior 的 output-centric 或 generic agent benchmark，它把临床 claim boundary 当成 workflow state 的一部分，这一点是实质区别。
Method
方法只需抓住几个机制。第一，任务构造不是简单列 41 个任务，而是给每个任务附上 claim boundary、label-reference type、metric family 和 output structure；这解决的是 agent 在多任务场景中容易把不同 endpoint 混用的问题。第二，轨迹级 instrumentation 把 planning/action/diagnosis/reflection 记录成可审计 evidence packet；这解决最终报告无法证明执行过程的问题。第三，expert-adjudicated workflow scoring 要求 artifact/log/metric 支撑 checkpoint，阻止 report-only pass；这把评估对象从文本质量转为证据链完整性。第四，CWAS-3/R6/pathologist review 把 clinical-boundary alignment 单独拆出；这解决 accuracy 无法衡量 unsafe overclaim 的问题。第五，reflection 被定义为 measurable repair，而不是自我批评文本；这迫使后续轮次必须留下可比较 metric 或 rerun artifact。
Key Insight / Why It Works
这篇论文最有价值的 insight 是：在临床型 agentic workflow 中，能力瓶颈不是 planning language，而是 evidence control。结果显示任务理解和 limitation wording 相对强，但 tool invocation、result discovery、error recovery、reflection failure localization 明显弱，这说明当前 agent 的“推理感”很大部分停留在文本层，未形成稳健的长期 workflow state control。
方法成立的原因不是引入了复杂新模型，而是评估维度抓住了 pathology workflow 的 latent structure：endpoint、label、metric、artifact、claim 是一组必须共同保持一致的变量。只要其中任一变量丢失，最终 clinical claim 就应该降级。这个结构化审计比单一 accuracy 更能暴露 agent failure。
最可能的核心贡献是 clinical-boundary-aware trajectory audit，而不是 41-task 覆盖或 9-model comparison。任务数量和 harness 数量有 scaling 成分，但不是本质创新。CWAS-3/R6 的设计也有 engineering/rubric 成分，权重增益来源不清；不过把 unsupported completion、normalization drift、missing evidence、unsafe overclaim 显式化，是可迁移的评估思想。
需要警惕的是，workflow score 可能受 harness logging completeness、workspace scaffold 和 reviewer policy 强烈影响；一个系统可能因为产物组织好而得分高，不一定代表更强医学推理。所谓 reflection improvement 也很可能主要来自 test-time compute 和重新尝试，而非真正 failure model。文中未充分说明如何区分 model reasoning、tool wrapper robustness 和 benchmark-specific engineering 的贡献。
Relation To Prior Work
它最接近三条线：computational pathology foundation model benchmark、biomedical/scientific agent benchmark、clinical AI safety/evaluation framework。与 pathology FM benchmark 的差异是，它不把 representation quality 当终点，而把 representation/model/tool 放进 workflow governance 中评估。与 BioDSBench、BiomedAgent、AI Scientist 类工作相比，它不是证明 agent 能做科学任务，而是审计 agent 做病理任务时是否保留临床证据边界。与 SWE-bench/OSWorld/AppWorld 等过程评测相比，它新增的是 domain-specific claim boundary 和 evidence sufficiency。
看似新的部分，如 planning/action/diagnosis/reflection 分段、tool-use audit、self-reflection 检查，其实是已有 agent evaluation 思想的重组。真正新增的信息是：在计算病理中，中间 workflow 不是辅助过程，而是临床声明合法性的组成部分。这个视角比具体 rubric 更重要。
Dataset / Evaluation
任务覆盖 biomarker、morphology、prognosis，跨多个 body system 和 endpoint family，足以作为 ACP workflow audit 的初始 stress test。它的强项是多维评估同一轨迹，并且明确区分 369 条完整轨迹、139 条可归一化 diagnostic-result 轨迹、pathologist-reviewed risk-enriched subset 的不同 denominator，避免把不可比证据混成一个分数。
但 evaluation 主要支持的是“当前 harness 不可靠”和“需要多轴审计”，不支持“ACP-Bench 已经能预测临床部署表现”。没有真实 prospective clinical workflow、没有 live user interaction、没有 controlled perturbation，也没有多读者临床安全验证。诊断结果子集存在 evidence funnel：能被归一化的输出本身就是选择后的子空间，可能高估或低估真实能力。pathologist review 是风险富集样本，只能说明失败类型，不应外推失败率。
Limitation
核心前提是：作者定义的 task metadata、claim boundary、workflow requirement 和 rubric 足够代表 ACP 的真实临床边界。这个前提尚未外部验证。CWAS-3/R6 权重是设计选择，不是从 clinical outcome 或 deployment risk 学出来的，增益来源不清。
scalability 上限在于人工 rubric 和专业审查成本。随着任务、器官、label schema、workflow tool 增加，维护 claim-boundary ontology 和 checkpoint policy 会变成主要瓶颈。方法可能把“模型不会做病理 workflow”的问题转移为“benchmark 设计者能否穷举 workflow evidence requirements”。
泛化也未被真正证明。不同 agent harness 的表现可能强依赖固定工具、文件结构、prompt scaffold 和可用 benchmark data。所谓 planning/reasoning 可能部分是 retrieval 和 pattern completion；reflection 更像额外 test-time compute 加文本自检，而不是稳定的长期状态建模。文中未充分说明如何排除 benchmark overlap、implicit memorization 或 harness-specific logging advantage。
离线 audit 与部署之间仍有大鸿沟。真实临床环境会有动态错误、缺失文件、模糊医嘱、非标准 staining/scan、跨系统 provenance、human feedback 和 medico-legal boundary。ACP-Bench 暴露了问题，但没有验证 agent 在这些扰动下能否恢复。
Takeaway
- 第一，ACP 方向真正需要从 prediction benchmark 走向 workflow-evidence benchmark；临床可信度来自证据链，而不是最终文本或单点 accuracy。
- 第二，未来 agentic pathology system 的核心改进不应优先是更会写报告，而应是 tool-state memory、output binding、metric verification、failure recovery 和 rerun-evidenced reflection。
- 第三，clinical claim boundary 应该成为 agent state 的一部分，而不是报告阶段的安全模板；否则 overclaim 会在看似正确的 endpoint 下持续发生。
- 第四，这篇论文最可迁移的 insight 是多轴评估：automation ability、task result、claim-boundary alignment 必须分开看。
一句话总结
这篇论文把计算病理 agent 的评估从“会不会给答案”推进到“能否保持证据链和临床声明边界的 workflow audit”，实质贡献是一个 pathology-specific、claim-boundary-aware 的 agentic benchmark，而不是新的 ACP 算法。