精读笔记

Problem Setting

[CPR: Chained Perceptual Refinement for Coarse-to-Fine Medical Image Classification]（arXiv preprint / 2026）

这篇论文实际处理的不是一般意义上的医学图像分类，而是高分辨率医学图像里一个很具体的瓶颈：诊断信号通常是局部、高频、稀疏的，但分类判断又不能完全脱离全局解剖/组织上下文。固定低分辨率输入会损失微小病灶、纹理和边界；固定高分辨率输入则在显存和 FLOPs 上快速不可用。

真正困难点在于算力分配：图像中绝大多数区域对最终分类是冗余的，但模型事先不知道哪些区域值得保留高分辨率。传统固定分辨率模型把计算均匀摊开，多尺度模型虽然引入不同尺度，但尺度和位置多半是预定义的，仍然没有解决“实例级别地决定在哪里花高分辨率预算”这个问题。

因此本文的关键矛盾是：如何在不全图高分辨率处理的情况下，让模型仍能访问原图中的细粒度证据，并且不把局部 patch 变成脱离全局语境的独立样本。CPR 的定位就是在这个矛盾上做一个 active coarse-to-fine classifier。

Motivation

已有路线缺的不是另一个更强 backbone，而是一个能把高分辨率访问变成可控预算的机制。固定输入方法的问题是 passive：无论区域是否有诊断价值，都按同样分辨率处理。金字塔/多尺度方法的问题是 static：它们确实引入多尺度，但尺度组合和计算路径大多固定，无法根据具体样本动态调整。

AdaptiveNN 一类 human-like fixation 方法接近这个方向，但其局部观察通常是固定大小 crop，更像离散 glimpse selection；在医学图像里，这会带来两个问题：第一，固定 crop 尺度不一定匹配病灶大小；第二，独立 crop 容易破坏局部证据和更大解剖结构之间的层级关系。

作者的核心观察是：医学诊断更像从全局 impression 出发，逐步缩小 perceptual field，而不是随机/并列地抽几个 patch。缺口在于已有 adaptive vision 多关注“看哪里”，而 CPR 强调“看哪里 + 看多大 + 之前看过什么如何影响下一步”。

Core Idea

CPR 的核心思想是把图像分类从 single-shot dense perception 改写成 sequential perceptual refinement。模型先看一个低分辨率全局图，形成初始状态；然后在每一步根据当前 accumulated state 预测一个局部区域的位置和尺度，从原始高分辨率图像中裁剪该区域，再 resize 到固定 backbone 输入大小。这样，backbone 的计算尺寸不变，但对应到原图上的感受野逐步收缩，等价于用恒定显存换取越来越高的局部有效分辨率。

这个设计改变的不是分类头，而是信息流组织方式：全局语义先被编码成状态，局部高频证据随后作为增量证据并入状态，下一次选择又依赖这个状态。它引入的 inductive bias 是医学图像中的判别证据存在空间稀疏性和尺度层级性，并且粗到细搜索比一次性全局处理更有效。

和 prior 的本质区别在于，CPR 不是简单多尺度，也不是固定 glimpse；它把 crop scale 也作为策略动作，并显式鼓励尺度收缩。这个约束让方法更像一个 structured zoom-in process，而不是 patch ensemble。可扩展性的来源主要是把原图分辨率从 backbone 输入尺寸中解耦：原图可以很大，但每次进入 encoder 的张量大小固定。

Method

方法层面只需要抓住四个机制。

第一，固定输入尺寸的 shared encoder。它解决的是显存随原图分辨率增长的问题。所有全局图和局部 crop 都 resize 到 canonical size，因此峰值显存基本由 backbone 输入尺寸和 batch 决定，而不是由原始 H×W 决定。核心变化是：提升局部有效分辨率不再靠扩大网络输入，而靠缩小原图上的 perceptual field。

第二，状态链式累积。每一步局部观察不是单独分类后投票，而是通过 residual fusion 写入 perceptual state。它解决的是多个 crop 之间互相独立、缺少上下文连续性的问题。真正作用是让后续 crop 的选择条件化于已经积累的全局/局部证据，而不是做无记忆 attention。

第三，位置和尺度联合策略。只预测位置会退化成“在同一尺度下找 patch”，对尺度变化大的医学证据不够。引入 scale 后，模型能把粗定位和细粒度放大统一到一个动作空间里。这里的关键不是多一个参数，而是把空间搜索从 fixed-window search 变成 adaptive field-of-view control。

第四，scale contraction 与 repetition penalty。它们解决的是策略自由度过大导致的无效探索：尺度可能不收缩，crop 可能重复，最终退化成随机裁剪或冗余 glimpse。这个 regularization 是 CPR 成为 coarse-to-fine 而不是普通 adaptive cropper 的关键约束。

PPO 用于优化 crop policy，主要是处理离散/非平滑空间选择的训练问题。它是合理工程选择，但文中没有证明 PPO 本身相对其他可微 attention、Gumbel、STN 或 deterministic policy 有本质优势。

Key Insight / Why It Works

这篇论文最值得关注的 insight 是：高分辨率医学分类的有效 scaling 不一定要扩大输入分辨率，而可以通过缩小原图上的采样视野来实现。也就是说，CPR 把 dense high-res scaling 转换成 sparse test-time evidence acquisition。它本质上是在做一种 learned high-resolution retrieval：从原图中检索少数高价值区域，再把这些区域作为补充证据写回分类状态。

真正可能带来增益的不是“像人眼”这个叙事，而是三个更硬的机制：一是从原图回访局部区域，避免下采样后的信息不可逆损失；二是尺度逐步收缩，使局部 crop 在固定输入尺寸下拥有更高有效分辨率；三是 chained state 让 crop 选择和预测形成闭环，减少独立 patch ensemble 的噪声。

最核心的贡献大概率是 adaptive scale contraction，而不是 PPO，也不是 prediction consistency。消融里仅有位置选择收益有限，加入尺度控制和显式 scale regularizer 后提升更明显，这说明“看多大”比“看哪里”更接近方法的本质。repetition penalty 和 consistency 更像稳定训练与避免策略塌缩的辅助项。

从归因上看，CPR 同时混合了几种效果：更高局部有效分辨率、test-time compute 的序列化使用、hard attention 式 retrieval、以及 coarse-to-fine curriculum。论文把这些统称为 perceptual refinement，但严格说增益来源不完全可分。尤其是相对低分辨率 baseline 的提升，可能主要来自访问了原图高频信息；相对 adaptive baseline 的提升，才更可能来自 scale/action 设计。

需要警惕一点：所谓 sequential decision 不一定意味着模型学到了强 planning。T 很短，reward 直接来自分类 loss reduction，状态更新也较简单，policy 可能学到的是数据集特定的 saliency prior，而不是可迁移的诊断策略。这里的“reasoning”更像 guided high-res evidence retrieval，而不是长期规划。

Relation To Prior Work

CPR 属于 hard attention / recurrent visual attention / adaptive computation / coarse-to-fine recognition 这条谱系，而不是传统意义上的新 backbone。它和 RA-CNN、TNet、Focus Longer、AdaptiveNN 的关系很近：都是先粗看再局部看，通过 sequential glimpse 改善细粒度分类。

和这些工作的实质差异在于 CPR 把尺度作为一等动作，并且从原始高分辨率图像重新取样，而不是只在固定 crop 或 feature hierarchy 上做 refinement。这个差异在医学图像里很重要，因为许多病灶的可见性直接取决于原始像素分辨率，而 feature-level mixing 无法恢复已经被 downsample 掉的细节。

和多尺度/金字塔方法相比，CPR 的新信息不是“多尺度”，而是 instance-adaptive 的尺度路径。金字塔方法通常提前定义多尺度特征并一起计算，CPR 则按样本选择少数尺度和位置，因此计算分配是 conditional 的。

和 MIL/patch-based pathology 方法相比，CPR 不把图像拆成 bag 再聚合，而是维护一个显式全局到局部的链式状态。它更适合 image-level classification 下的有限步 refinement，而不是 WSI 级海量 patch aggregation。

看似新的部分有不少是已有思想重组：foveated vision、hard attention、crop-resize、intermediate supervision、PPO policy learning 都不是新概念。实质创新在于把这些组合成一个面向医学高分辨率分类的“固定输入尺寸 + 原图回访 + 自适应尺度收缩 + 链式状态”的系统性 bias。

Dataset / Evaluation

实验覆盖了胸片、COVID X-ray、乳腺超声、乳腺病理、眼底等 2D 医学图像，任务跨度还可以，至少说明 CPR 不是只在单一模态上调出来的技巧。backbone 覆盖 CNN、ViT、Swin，也支持其机制不依赖某个特定架构。

评估确实支持两个主要 claim：一是固定显存下比直接升分辨率更划算；二是相对固定 crop/随机 crop/无链式版本，adaptive scale + chain 有额外收益。尤其是 memory/GFLOPs trade-off 的展示，比单纯 accuracy 表更能说明问题。

但 evaluation 仍有明显边界。首先，都是 public classification benchmark，不能充分说明真实临床分布、设备差异、外部中心和前处理变化下的稳定性。其次，部分数据集规模有限，classification label 粗，容易让策略学到 dataset-specific shortcut。第三，文中没有充分说明和所有 baseline 在原始分辨率访问、训练预算、test-time compute、augmentation、pretraining 上是否完全等价。

此外，benchmark 是否真正验证了“临床式 coarse-to-fine reasoning”仍存疑。可视化框落在看似相关区域只能说明 saliency 合理，不等价于策略具有医学因果性。失败案例也暴露了过度收缩在弥散性或弱对比病灶上的风险。

Limitation

CPR 的核心前提是：诊断证据可以被少数局部区域捕获，而且这些区域可以通过从全局到局部的单调收缩过程找到。这个前提对小病灶、局部纹理、局灶性结构比较成立；但对弥散病变、多区域模式、全局比例/对称性、组织结构分布统计等任务可能不成立。

方法把全图高分辨率计算问题转移成了 policy 是否能选对区域的问题。一旦早期状态误导策略，后续 crop 会在错误区域继续放大，错误可能被链式强化。文中虽然有 repetition 和 scale regularization，但没有从根本上解决 exploration、uncertainty-aware backtracking 或 multi-hypothesis search。

所谓 constant memory 也有条件：backbone 峰值显存固定，但 test-time latency/FLOPs 仍随 refinement steps 增加；如果任务需要多个候选区域或更长轨迹，计算优势会下降。对于 3D 医学图像、WSI 超大图或多病灶任务，单一矩形 crop + 少数步骤可能不够。

增益归因不完全清楚。相对低分辨率 baseline，提升可能主要来自访问原始高分辨率 patch；相对部分 SOTA，可能受到训练预算、输入分辨率策略、baseline 适配程度影响。文中未充分说明所有 baseline 是否都获得同等机会使用原图信息，因此“方法本身优于所有多尺度路线”的结论需要保留。

泛化也未被真正证明。policy 可能学到的是某些数据集中病灶/器官的空间先验，例如胸片中心区域、眼底中心结构、超声常见 ROI，而不是通用的医学视觉策略。跨机构、跨设备、病灶位置分布变化时，crop policy 是否稳定是关键未解问题。

Takeaway

• 1. 最值得迁移的 insight 是“用固定网络输入 + 动态收缩原图感受野”替代暴力高分辨率 scaling；这对任何局部稀疏证据任务都有价值。
• 2. 在 adaptive vision 里，尺度控制可能比位置控制更关键。
• 只学 where 容易变成 saliency crop；同时学 where 和 how large，才真正改变有效分辨率和信息密度。
• 3. Chain state 的意义在于避免 patch ensemble 化。

一句话总结

CPR 是一类把高分辨率医学分类从 dense scaling 转向 learned coarse-to-fine evidence retrieval 的方法，实质贡献在于用自适应尺度收缩和链式状态把有限计算预算集中到原图中的高价值局部证据上。