精读笔记

Problem Setting

论文标题：CogSENet: Blind Image Deblurring with Blur-Conditioned Semantic Routing and Explicit Frequency Fusion（arXiv preprint / 2026-06-30）。这篇论文真正解决的不是普通 benchmark 去模糊，而是空间非均匀盲退化下如何避免统一恢复算子同时误处理语义结构、真实纹理和模糊伪影。困难点在于：长程依赖需要全局传播，但全局传播会扩散错误；高频增强需要锐化细节，但锐化也会放大噪声和 ringing；退化估计需要局部化，但真实 blur 又常沿物体/运动区域连续变化。以前 CNN 卡在局部性，Transformer 卡在成本和无差别 attention，SSM 虽然线性复杂度更好，但默认扫描顺序仍把图像当作同质序列。关键矛盾是 restoration 需要强上下文，但上下文必须被语义、频率和退化状态约束，否则全局建模反而会制造伪结构。

Motivation

作者的核心观察是，低层恢复并不只是低层问题：是否该恢复某个高频响应，取决于它属于物体边界、自然纹理、运动残影还是噪声伪影。现有路线缺的是可控的信息组织方式，而不是再堆一个更大的全局模块。CNN/Transformer/SSM 大多在空间网格或固定窗口上处理 token，频率处理也常作为隐式滤波存在；它们缺少把“哪些 token 应该一起建模”“哪些频率应该分开恢复”“哪里模糊更重”同时显式编码进网络的机制。CogSENet 的出发点就是把 restoration 从静态回归改成条件化重建：先决定信息该如何流动，再决定如何恢复细节。

Core Idea

论文最核心的思想是重组 restoration 的信息流，而不是单纯增加模块。SDSSM 通过可微路由把 token 按 learned semantic/degradation group 重新排列，使 SSM 的一维扫描邻接关系不再由 raster order 决定，而由内容相似性决定；这等价于给线性复杂度的状态空间模型注入一个动态 graph-like bias。直觉上，这能让远距离但同类区域共享状态，同时减少跨语义边界的错误传播。

第二个核心思想是把恢复过程拆成互补约束：频率维度上，高/低频分别承担结构保持和细节恢复；退化维度上，连续 blur field 提供空间变化的物理条件；语义维度上，冻结 CLIP prior 用于选择 bottleneck 中更值得关注的位置。它与 prior 的本质区别不是“用了 CLIP / wavelet / SSM”，而是把三类条件信号同时放到恢复信息流中：语义决定 token 交互，频率决定恢复算子，blur field 决定空间调制。这个 inductive bias 比纯 attention 或纯 SSM 更可扩展，因为它试图减少无效全局交互，而不是扩大所有 token 之间的通信。

Method

方法上可以压缩成三个机制。第一，语义路由式 SSM 解决固定扫描顺序的问题：普通视觉 SSM 的 scan order 与图像语义无关，容易把不相关区域串在同一状态传播链里；SDSSM 用 Gumbel-Softmax 分组和排序形成语义连续序列，再用 prompt 调制状态输出，使长程建模从空间邻接转向内容邻接。这里真正重要的是改变状态传播拓扑，而不是 Gumbel 本身。

第二，显式频率融合解决高频恢复的不稳定性：去模糊需要增强边缘和纹理，但同一操作也会增强伪影。BFFB 用 wavelet 分出低频结构和高频细节，再并行引入频域滤波，相当于给网络一个“结构先验 + 纹理先验”的分工。它的必要性在于约束恢复算子不要把所有频率混在一个 feature channel 里隐式学习。

第三，CBF+CLIP joint modulation 解决空间非均匀退化的条件化问题：连续 blur field 给出密集退化提示，CLIP 给出高层语义 anchor，二者在 bottleneck 处生成空间 attention，对恢复重点做 residual gating。选择 bottleneck 是合理的，因为这里语义抽象足够强、分辨率低、调制成本低；但它也意味着高分辨率局部运动细节主要仍靠 backbone 自己恢复。

Key Insight / Why It Works

我认为最可能真正有效的是两个 inductive bias：语义/退化相关的 token regrouping，以及显式高低频分工。前者改变了 SSM 的长程依赖结构，使线性 scan 不再受固定空间顺序限制；后者降低了去模糊中“锐化真实纹理 vs 放大伪影”的歧义。这比单纯扩大模型更有技术含量，因为它在限制信息传播，而不是无差别增加容量。

CBF+CLIP 更像辅助性条件控制，可能在 RealBlur 和复杂场景中有帮助，但其增益来源不清。CLIP prior 是否真的提供语义理解，还是只是提供一个对显著物体区域的 attention bias，文中未充分说明。CBF 是否学习到物理 blur field 也没有外部监督或物理一致性验证，可能只是 learned degradation heatmap。这里的“physical-semantic joint modulation”概念强于证据。

这篇不是 retrieval、planner 或 test-time compute 路线，也不像主要靠长期状态推理；它本质上是 better inductive bias + efficient architecture + progressive training 的组合。多阶段大迭代训练、patch size curriculum、对比方法训练协议差异都可能贡献一部分结果。尤其跨任务实验关闭 blur branch 后仍表现不错，说明核心泛化能力可能更多来自 BFFB/SDSSM 作为 restoration backbone 的结构偏置，而不是完整的鹰眼式 physical-semantic 叙事。

如果要迁移 insight，最值得迁移的是：在低层视觉中，全局建模不应只问“如何连接更远”，还要问“哪些 token 应该被放到同一个传播链里”；频率处理也不应只是 FFT 模块，而应约束不同频段承担不同恢复责任。

Relation To Prior Work

它最接近三条技术谱系的交叉：SSM-based restoration、频域/小波 restoration、semantic prior guided restoration。相对 MambaIR/VMamba 类方法，CogSENet 的新增点在于 scan sequence 由 semantic routing 重排，而不是沿固定方向或局部窗口扫描；这是相对实质的变化，因为它改变了状态空间模型的邻接结构。相对 FFTformer、wavelet restoration，BFFB 并不完全新，wavelet 高低频分解和 Fourier filtering 都是已有思想，但把它作为每个 restoration block 的稳定频率分工，与 SSM 路由配合，是有效的重组。

CLIP prior 用于低层任务也不是新方向，连续 blur/degradation map 也有类似先例；这里的新意更多在于将二者组合为 bottleneck modulation，而不是单独做语义引导或 kernel estimation。生物视觉叙事基本是包装，不应视作技术贡献。真正新增的信息是：作者把“语义路由、频率分解、连续退化调制”放进同一个轻量 U-shaped restoration backbone，并通过消融显示三者大致互补。

Dataset / Evaluation

评估覆盖合成运动模糊、人体相关模糊、真实模糊，以及 deraining/denoising/dehazing，任务覆盖面较宽；RealBlur 的加入比只报 GoPro 更能支撑真实退化 claim。结果上，轻量模型已经强，放大版进一步提升，说明架构确实有较好的 accuracy-efficiency trade-off。

但 evaluation 对核心 claim 的支撑仍有限。语义路由是否真的语义一致，主要靠可视化和间接消融，没有类别级、一致性或跨图像稳定性验证。CBF 是否物理合理，也只展示 magnitude/field 可视化，没有与真实 motion 或 blur kernel 对齐。跨任务实验虽然有价值，但由于 blur branch 被关闭，它验证的是 backbone 泛化，而不是完整的 blur-conditioned semantic routing 机制。真实世界部署方面，没有看到极端曝光、rolling shutter、复杂相机运动、多帧视频或手机 ISP pipeline 下的系统评估。因此 benchmark 支持“这是强去模糊模型”，但不足以完全支持“语义-物理联合建模解决真实非均匀 blur”的强表述。

Limitation

第一，方法依赖可恢复语义。极端模糊破坏语义线索时，CLIP attention 会退化，作者自己的 failure case 已经说明这一点；这意味着 semantic prior 是上限也是脆弱点。第二，routing 的语义性没有被严格证明。Gumbel 分组可能学到的是纹理强度、退化程度或局部频谱模式，而不是语义对象；如果是这样，论文中的 semantic routing 命名偏强。

第三，CBF 把 blur 建模从 discrete kernel 转为 continuous field，但没有保证它对应真实运动轨迹。它可能只是把困难转移为一个无监督 latent map，解释性不等于物理正确性。第四，增益归因不够干净。训练迭代很长、progressive patch scaling 明显、Ours/Ours+ 结构差异和 CLIP 外部 encoder 成本都可能影响公平性。第五，跨任务泛化并不等于完整方法泛化，因为非去模糊任务关闭了 blur-specific branch；这削弱了“统一框架”的说服力。

scalability 上，语义排序和动态路由在高分辨率、视频一致性、实时部署中可能带来不稳定或额外开销；CLIP frozen prior 也会带来显存/延迟和 domain mismatch 问题。真正部署到真实相机 pipeline 时，语义缺失、复合退化和 ISP 非线性会显著挑战这个框架。

Takeaway

• 最值得记住的第一点：视觉 SSM 在 restoration 中的关键改进方向不是更复杂的 scan，而是让 scan order 内容自适应；语义/退化相关的 token regrouping 是一个可迁移思路。
• 第二点：频率显式分工仍然是去模糊这类 ill-posed restoration 的强 inductive bias，尤其在防止伪高频和保结构之间有实际价值。
• 第三点：CLIP/semantic prior 对低层恢复有用，但更像显著区域和语义 anchor 的条件化，而不是可靠的物理恢复依据；未来需要 degradation-robust semantic encoder，而不是直接套通用 CLIP。
• 第四点：这篇推动的是 restoration backbone 的条件化组织方式，而不是提出全新的去模糊理论。

一句话总结

CogSENet 是一篇把 SSM restoration 从固定空间扫描推进到语义/频率/退化条件化信息流的工程-机制混合型工作，实质贡献在于更好的 inductive bias，而不是生物启发叙事本身。