精读笔记
Problem Setting
IRIS 面向的是外眼照上的 OSD 多模态理解：从手机/外部眼部照片中完成细粒度病灶识别、诊断问答和面向不同用户的临床交互。它实际在解决的是一个 domain-specific VLM alignment 问题，而不是提出新视觉 backbone 或新推理算法。
真正困难点在于 OSD 诊断不是普通图像分类：同一类视觉纹理在不同解剖位置含义不同，病灶判断依赖“局部区域—形态征象—鉴别诊断”的组合。以前方法卡在两个地方：眼科 foundation model 多偏向 fundus/OCT，外眼照覆盖太少；医学 VLM 虽有大量 biomedical caption，但 caption 监督太扁平，无法教会模型把 cornea、iris、conjunctiva 等区域与对应病理征象稳定绑定。
关键矛盾是：真实临床需要可定位、可解释、可追溯的判断链，而现有数据主要提供粗标签或自然语言描述。IRIS 的答案不是“模型更大”，而是把临床知识结构提前编码进 instruction data。
Motivation
作者的动机相当明确：OSD 场景缺的不是又一个大模型，而是高质量、结构化、外眼照专用的 instruction-tuning 数据。通用 VLM 的失败不是因为完全看不见病灶，而是因为它们缺乏眼表解剖坐标系；医学 VLM 的失败也不只是医学知识不足，而是训练文本没有强制它们做局部证据绑定。
核心观察是，PubMed/书本 caption 往往描述“这是一例什么病”，但不会稳定提供“哪一区域、什么形态、如何排除相邻结构病变”的监督。对 OSD 来说，这种缺失会直接导致 hallucination 和 anatomical misgrounding。于是作者把问题转成：如何用 LLM/VLM 数据引擎，把异构图文资源重写为接近临床推理轨迹的 VQA。
Core Idea
论文真正的核心思想是：把外眼照理解从 image-caption alignment 改造成 anatomy-conditioned clinical reasoning alignment。TFT 相当于给模型一个显式的局部结构先验：先在固定眼表区域 ontology 中定位，再提取区域内 findings，最后生成问题、答案和推理链。这样模型学到的不是单个疾病名，而是一个受限的临床语义图。
Scene-driven 分支的意义不是“多生成一些对话”，而是把同一视觉证据投影到不同 clinical intent 上：患者要 triage 和风险解释，医生要鉴别诊断，学生要教学式推理。它改变了监督的信息流：视觉证据不再只对应一个 canonical answer，而是对应多个任务语境下的 response policy。
与 prior 的本质区别在于，IRIS 不是依赖更大参数去隐式学出医学结构，而是把结构作为数据生成约束显式注入。这是一种 data-centric inductive bias，比纯 scaling 更适合小模型，因为它降低了模型需要从噪声 caption 中自行发现临床结构的负担。
Method
关键机制可以压缩为四点。
第一，异构外眼照汇聚与清洗。它解决的是外眼照样本不足和图文错配问题，尤其是医学文献多图 panel、web alt-text 噪声、公开分类/分割数据格式不统一。这里的核心变化不是清洗 pipeline 本身，而是把多来源数据统一成可被后续 VQA 生成消费的视觉-文本锚点。
第二，先用强 VLM 生成详细视觉描述，再结合原始 caption/label 作为 surrogate text。这个步骤的作用是扩大每张图的可生成语义空间，但也引入了隐性教师模型监督。它把原始数据从 sparse label 变成 dense pseudo-description，是后续 TFT/Scene 生成成立的前提。
第三，TFT 把每张图解析到 10 个眼表区域及其 region-specific findings，并围绕路径生成多类型 VQA 和四阶段 reasoning chain。它解决的是局部解剖锚定缺失，核心变化是将监督从疾病级别转为区域-征象级别。
第四，Scene-driven generation 按用户角色和临床场景生成交互式回答。它解决的是模型只会答 benchmark、不适合真实交互的问题。质量感知采样则承担 curriculum/denoising 角色：高质来源生成更密，低质来源稀疏采样，以避免小模型被低信噪比样本拖垮。
Key Insight / Why It Works
最可能真正有效的是结构化数据，而不是模型架构。IRIS 的基座仍是 Qwen3-VL，训练方式也是常规 LoRA；性能跃迁主要来自把外眼照语料重排为带局部解剖约束的 instruction data。换句话说，它做的是 representation alignment：让视觉 token 与临床 ontology 中的区域、征象、诊断语义对齐。
TFT 的收益本质上来自 better inductive bias + curriculum。它把一个高熵的开放式医学描述任务，分解成有限区域集合上的局部判别与推理模板。这会显著降低小模型学习难度，也会让生成答案更像临床推理。但这里的“推理”需要谨慎理解：训练中显式提供了 <think> 风格链条，模型可能只是学会生成符合模板的 justification，而不一定具备独立的 causal diagnostic reasoning。
Scene-driven 分支更像任务覆盖和 response style alignment，而不是核心诊断能力来源。消融显示 Scene-only 会损害客观精度，说明没有 TFT 的局部结构，角色对话数据不足以形成可靠医学判别。Scene 的价值在于把诊断能力包装成可用交互，而不是创造诊断能力。
质量感知采样可能被低估。对小模型而言，训练分布质量比样本数更关键；IRIS 的“4B 优于 8B”也可能说明数据规模和模板多样性已经不足以继续支撑更大容量，而不是 4B 天然最优。这里增益来源不清：可能主要来自更干净、更贴近测试集的数据，而不是 TFT 概念本身。
需要警惕 benchmark circularity。测试集来自同一数据引擎和同一 ontology/场景模板，IRIS 在该 benchmark 上大幅领先并不必然证明真实世界泛化。尤其 open-ended 使用 BLEU/ROUGE，会奖励模板相似和词面重合，而不是医学正确性。attention map 也只能弱支持 grounding，不能证明模型真的基于病灶做因果判断。
Relation To Prior Work
IRIS 最接近三条路线：医学 VLM instruction tuning、眼科 foundation model、以及基于 LLM 的合成 VQA/CoT 数据生成。它不是在模型结构上突破，而是在专业领域数据工程上把这些路线重组得更贴近 OSD。
相对 RETFound、VisionFM、EyeCLIP 这类眼科 foundation model，IRIS 的差异是模态和任务重心：前者主要解决眼底/OCT 的视觉表征和诊断泛化，IRIS 直接面向外眼照和交互式 VQA。相对 HuatuoGPT-Vision、Lingshu、HuluMed 等通用医学 VLM，IRIS 的差异是更窄领域、更强结构先验、更高密度外眼照监督。
看似新的 TFT，本质上延续了 ontology-guided supervision、region-conditioned QA、chain-of-thought distillation 的思想；Scene-driven 也接近 persona-based instruction generation。实质创新在于把这些已有思想落到 OSD 这一局部形态诊断场景，并构造了一个可规模化的数据生成闭环。真正新增的信息不是算法形式，而是外眼照专用的 anatomy-pathology supervision schema。
Dataset / Evaluation
IRIS-120K 的覆盖面相对现有 OSD 数据是有价值的：来源包括书本、文献、WeChat、Google Lens、公开分类/分割数据，并被转成 TFT 与 Scene 两类 VQA。这使 benchmark 同时覆盖 closed-ended 判断、选择题、结构化 Tree-VQA 和角色化 Scene-VQA，至少能检验模型是否学到作者定义的 anatomy/scene schema。
但 evaluation 对核心 claim 的支持仍有限。它确实支持“在自建 OSD VQA 分布上，结构化微调的小模型显著优于未专门对齐的大模型”。它没有充分支持“真实手机端 OSD screening 可部署”“泛化到真实临床长尾”“专家级诊断可靠”这些更强 claim。
最大问题是测试集与训练集由同一数据引擎产生，虽然用了 pHash 去重和 GPT-5-mini 质控，但文中未充分说明来源级隔离、患者级隔离、模板隔离、疾病分布隔离。若 train/test 共享生成模板、ontology、caption 风格或相近图源，IRIS 的优势可能部分来自 implicit memorization 和 evaluation bias。
开放式生成指标也偏弱。BLEU/ROUGE 更适合词面相似，不适合判断医学答案是否正确、安全、充分。attention grounding 的 qualitative evidence 有启发，但不是严格 localization benchmark。真实世界维度如跨设备、低光照、运动模糊、自拍角度、不同肤色/年龄、罕见病、多病共存都没有被系统验证。
Limitation
第一，方法成立强依赖 ontology 和生成教师。TFT 的区域集合、finding 抽取和 reasoning chain 质量决定了模型上限；如果 ontology 漏掉关键病灶或生成教师误读图像，错误会被规模化固化进训练集。文中未充分说明这些结构化标注有多少由眼科专家审核。
第二，增益归因不清。IRIS 同时改变了数据规模、数据质量、领域覆盖、训练目标、推理模板、采样策略和测试分布。论文把结果归因于 TFT/Scene 结构注入，但没有充分拆解“更多 OSD 数据”“更强 pseudo-caption”“更贴近 benchmark 的模板”分别贡献多少。
第三，所谓 reasoning 可能是假象。<think> 链条来自训练模板，模型生成合理推理文本不等于它真的执行鉴别诊断；attention map 也不能证明因果 grounding。更严格的 counterfactual lesion editing、region masking、诊断反事实测试缺失。
第四，泛化上限受数据覆盖约束。IRIS 很可能在常见 OSD、常见图源、常见问法上表现强，但对罕见病、混合病变、非典型表现、低质量手机照和跨地区疾病谱的鲁棒性未知。核心能力可能主要来自数据覆盖，而不是可组合临床推理。
第五，部署 claim 过强。4B 模型适合边缘端的说法需要具体延迟、内存、量化、端侧相机 pipeline、隐私和安全策略支撑；论文没有真正给出端侧系统评估。临床 triage 还涉及风险校准、拒答机制、转诊阈值和责任边界，这些都不是当前 benchmark 能验证的。
Takeaway
- 1. 对高度结构化的医学视觉任务，数据的组织形式可能比模型尺寸更重要；尤其当诊断依赖局部解剖语义时，ontology-guided instruction tuning 是很强的低成本路线。
- 2. TFT 最值得迁移的不是“树”这个形式，而是把视觉监督从 image-level label 改写成 region-finding-decision 的中间语义层。
- 这一思想可迁移到皮肤、口腔、内镜、病理等局部形态诊断任务。
- 3. Scene-driven 数据说明，医学 VLM 的能力不只是诊断准确率，还包括面向不同用户意图的 response policy。
一句话总结
IRIS 是一篇典型的 data-centric specialized VLM 工作：它通过把外眼照监督重构为解剖区域驱动的结构化 VQA，在 OSD 垂直领域展示了结构化知识注入相对盲目扩参的优势，但其真实泛化和 reasoning 成分仍需外部临床验证。