精读笔记

Problem Setting

[MedMambaLite: Hardware-Aware Mamba for Medical Image Classification]（arXiv preprint / 2026）。这篇论文解决的不是“如何做医疗图像分类”，而是“MedMamba 这类较强视觉 Mamba 模型如何变成边缘端可部署模型”。真正困难在于医疗图像分类需要保留细粒度局部纹理和跨区域依赖，但边缘设备的约束主要来自参数驻留、缓存层级、内存搬运和功耗，而不只是 FLOPs。以前小 CNN 卡在表达能力，MedMamba/ViT 类模型卡在模型宽度、SSM 参数冗余和内存访问。关键矛盾是：能否在不显著牺牲表征质量的情况下，把视觉 Mamba 的长程建模能力压缩到缓存友好的规模。

Motivation

作者的动机来自一个比较实际的观察：MedMamba 的高精度并不等价于它所有结构自由度都必要。二维选择性扫描中四个方向的独立投影、每个 block 独立的状态参数、标准卷积的大量局部计算，都可能在小型医疗分类 benchmark 上是过度配置。已有轻量化工作通常压 CNN 或 Transformer，但没有很好回答 Mamba 结构在边缘设备上的冗余在哪里、哪些状态空间参数可以共享、如何让压缩后的 Mamba 仍保持 teacher 的判别边界。论文要填的缺口是视觉 Mamba 的 hardware-aware compression，而不是单纯再训练一个小模型。

Core Idea

核心思想是把 MedMamba 拆成“必要的归纳偏置”和“可共享的冗余自由度”。必要部分包括局部纹理建模、跨空间方向的信息传播、层级式分辨率下降；可压缩部分包括方向独立投影、重复的 SSM 状态矩阵、过宽的 embedding 和高成本卷积。MedMambaLite 的本质是用更少参数维持同一类信息流：局部分支继续负责医学图像中的边缘、纹理、局部异常模式；SSM 分支负责较长距离结构关系；共享 scan 则假设不同方向的动态模式可以复用。

这和 prior 的差别不在于“用了 Mamba + KD”，而在于它把 Mamba 的二维扫描从一种高自由度视觉 backbone 改写为面向缓存和能耗的共享状态建模。理论上它可能有效，是因为医疗分类标签通常不需要像密集预测那样保留极细粒度方向差异，许多方向特异建模可以被共享参数近似；而 KD 进一步把 teacher 的类别边界和中间表征偏好迁移给窄 student，缓解容量下降。

Method

方法上真正关键的不是五个模块的堆叠，而是三个机制。

第一，局部-全局双路径通道分裂：它解决的是轻量模型容易在局部纹理和全局依赖之间二选一的问题。卷积分支保留局部医学纹理归纳偏置，SSM 分支保留长程依赖，shuffle/concat 让两者交互。核心变化是把全通道昂贵建模改成部分通道的异构建模。

第二，LiteSS2D 的参数共享：它解决的是 VMamba/MedMamba 式二维扫描方向多、投影多、状态参数重复的问题。四方向共享投影和阶段内共享 A_log/D，本质上假设不同空间方向共享同一种状态动态，只是序列展开方式不同。核心变化是从“每个方向/每个 block 学独立动态”转为“复用一套动态核”。

第三，memory-aware KD：它解决的是 student 缩小 embedding 后容量不足的问题。teacher 不是原始 MedMamba，而是已经轻量化的 MedMambaLite-TR，这降低了蒸馏成本。核心变化是把压缩后的性能恢复问题转化为 teacher-student 表征对齐，而不是依赖小模型从硬标签中自行学到全部判别结构。

Key Insight / Why It Works

最可能真正起作用的是 memory reuse + representation alignment，而不是某个单独模块。MedMambaLite 能保持精度，说明原始 MedMamba 在这些分类任务上存在明显 over-parameterization；尤其是方向独立 SSM 参数和大 embedding 并非必要。医疗分类 benchmark 多为 resized 224×224 的单图分类，标签粒度相对粗，很多空间方向差异不需要以独立参数编码，因此共享 selective scan 的损失有限。

KD 的作用也不应被低估。student 的 32/64/128/256 维宽度相对 teacher 明显缩小，如果只靠硬标签训练，可能更容易丢失跨数据集的判别边界。KD 这里更像 representation alignment，而不是知识发现。它把 MedMambaLite-TR 已经学到的 inductive bias 压进 student，使缩宽看起来更“无损”。

哪些是核心贡献？方向/阶段共享的 LiteSS2D 和硬件缓存约束下的 student 尺寸选择比较实质。哪些可能只是辅助？depthwise/pointwise、行列分解卷积、KD 本身都不是新思想，更像已有轻量化手段在 Mamba 上的工程重组。论文的结果很可能部分来自 scaling：把模型缩小到任务刚好足够的容量区间，同时减少内存搬运，硬件指标自然改善。增益来源不清：结构共享、宽度缩放、KD、设备缓存命中率之间没有被足够干净地解耦。

Relation To Prior Work

这篇属于视觉 Mamba 轻量化与边缘部署谱系，最接近 MedMamba、VMamba、Mobile/edge-aware compression 和知识蒸馏工作。相对 MedMamba，它不是改变任务建模范式，而是削减 MedMamba 中对边缘不友好的冗余。相对 VMamba，它沿用了 SS2D 的四方向扫描思想，但把方向独立参数改为共享，强调硬件可承受性。相对传统 CNN 轻量模型，它保留了 Mamba 的长程序列建模路径，而不是完全依赖局部卷积堆叠。

看似新的部分很多其实是已有思想重组：深度可分离卷积、teacher-student KD、宽度缩放、参数共享、缓存意识部署都已有成熟先例。实质新增的信息在于：这些压缩手段放到视觉 SSM/Mamba 上之后，至少在 MedMNIST 类医疗分类中，方向共享和阶段共享不会明显破坏精度，并能带来真机能效收益。论文更像是把 Mamba 从“高性能 backbone”推向“edge-friendly backbone”的工程-结构共设计尝试。

Dataset / Evaluation

评估覆盖 10 个 MedMNIST v2 数据集和 4 个额外医疗图像数据集，任务分布包括不同成像模态和疾病分类场景；这比单一数据集更能支持“医疗分类通用轻量 backbone”的说法。但这些任务大多仍是标准化离线分类，图像统一 resize 到 224×224，距离真实边缘医疗设备中的采集噪声、跨中心分布漂移、实时 pipeline 和临床阈值校准还有距离。

比较有价值的是作者做了 Jetson Orin Nano 和 Raspberry Pi 5 的真机功耗/吞吐/能量测量，这比只报 FLOPs 更贴近 hardware-aware claim。不过 evaluation 仍有明显 limitation：没有充分展示算子级 profiling、缓存 miss、内存带宽占用，也没有说明不同推理后端、精度格式、batch size 下结论是否稳定。benchmark 支持“模型更小且真机更省”，但没有完全证明“LiteSS2D 是能效提升的主要原因”。

Limitation

第一，核心归因不清。模型同时做了卷积轻量化、SSM 参数共享、A_log/D 共享、embedding 缩小和 KD，实验没有把这些因素与硬件指标逐一拆开，因此很难判断哪些是结构创新，哪些只是 scaling。

第二，方法成立依赖任务容量冗余。MedMNIST 类分类任务可能不需要完整 MedMamba 的表达能力；在更高分辨率、更细粒度、多病灶、多标签或密集预测任务上，方向共享可能损失方向特异结构，student 也可能容量不足。

第三，hardware-aware 的深度有限。论文主要是让模型大小适配缓存层级并报告功耗，而不是联合硬件搜索、算子融合、内存调度、量化或编译优化。所谓硬件感知更接近 architecture pruning guided by cache size，而不是完整 hardware-software co-design。

第四，泛化证据仍偏弱。跨数据集并不等价于跨医院、跨设备、跨协议泛化。核心能力可能主要来自数据覆盖和 benchmark 的标准化流程，而不是模型天然具备更强 medical generalization。

第五，KD 细节文中未充分说明。若蒸馏损失、temperature、中间层对齐、训练 epoch 等设置不同，student 的表现可能有较大波动。论文没有充分回答 student 是否真正学到更鲁棒表征，还是只是复刻 teacher 在这些 benchmark 上的类别边界。

Takeaway

• 最值得记住的不是 MedMambaLite 的具体模块，而是：视觉 Mamba 在医疗分类场景中存在大量方向/阶段级参数冗余，可以通过共享状态动态显著压缩。
• 边缘部署中，FLOPs 不是唯一指标；让模型权重和中间状态更好地落入低级缓存，可能比单纯减少算术量更重要。
• KD 在这里的价值是把“结构压缩后的表示缺口”补回来，因此未来轻量 Mamba 更可能走 teacher-guided compression，而不是直接从 scratch 训练极小模型。
• 未来更值得做的是算子级 profiling、量化/编译协同、跨设备稳定性和更困难医疗任务验证；否则这类工作容易停留在“把大模型缩小后 benchmark 仍不错”的工程层面。

一句话总结

MedMambaLite 是一篇把 MedMamba 从精度导向 backbone 改造成缓存友好边缘模型的轻量化工作，真正贡献在于证明视觉 SSM 的方向/阶段参数共享加 KD 在医疗分类上足够有效，但其增益很大程度仍可能来自任务冗余与 scaling。