精读笔记

Problem Setting

论文标题：Liquid Fusion of Heterogeneous Representations Towards General Salient Object Detection（arXiv preprint / 2026）。这篇论文真正处理的是 general SOD 的统一表示问题：同一模型需要覆盖 RGB、RGB-D、RGB-T、视频、VDT 等不同输入形态，同时保持全局 saliency localization 与局部边界恢复。困难点不在于 SOD 定义，而在于 saliency 需要同时依赖低频语义结构和高频边界细节；单一架构往往只能偏向其中一端。已有 SSM/Mamba 路线主要通过设计更复杂的 scan pattern 来补足视觉二维结构，但这更像是在单一范式内部硬补 inductive bias。关键矛盾是：general SOD 需要 full-spectrum representation，而单一 backbone 的 spectral bias 会造成结构性盲区。

Motivation

作者的核心观察是 ConvNeXt 与 VMamba 的中间特征在频域上表现出不同能量偏好，并且这种差异跨 RGB、RGB-D、RGB-T、VSOD、VDT 数据集都存在。这个观察把问题从“如何设计更强的 SSM scan”转向“如何利用 CNN 与 SSM 的互补偏置”。已有路线不够的地方在于：Transformer 成本高，SSM 虽然线性复杂度友好，但仍带有 1D-to-2D 映射和频谱偏置；多模态方法又常用 heavy cross-attention，扩展到三模态或视频时成本上升。LFNet 的动机是用异构表示的动态融合替代单范式强化，使 general SOD 的扩展性来自 bias complementarity，而不是模块复杂度继续膨胀。

Core Idea

核心思想是把 VMamba 与 ConvNeXt 不看作两个可简单相加的 feature sources，而看作两种具有不同频谱偏置的表示系统：VMamba 提供更强的长程、连续状态式语义表征，ConvNeXt 提供局部网格结构和高频细节。LFNet 用 LNN/CfC 的 state-stimulus 语言重新组织二者：VMamba 是 memory state，ConvNeXt 是 exogenous stimulus，门控决定每个位置更应该保留语义状态还是注入局部刺激。

这和 prior 的本质差异不是“又加了一个 fusion block”，而是把融合目标从 cross-modal/cross-feature alignment 改成 architectural bias selection。传统 add/concat 假设两路特征同质可合并，cross-attention 假设可以通过 pairwise interaction 学到对齐；LFNet 假设两路特征有先验分工，并用动态 permeability 选择两类 inductive bias 的局部权重。这种建模方式理论上更 scalable：新增模态可以被看作新的 stimulus，而不必为每一对模态设计复杂注意力交互。

Method

方法上应只保留三个机制。第一，heterogeneous hybrid encoder：VMamba-Small 与 ConvNeXt-Pico 并行提取多尺度特征，用架构差异引入频谱互补，而不是继续在 SSM 内部设计更复杂扫描路径。它解决的是单 backbone 表示盲区问题，核心变化是从 homogeneous representation 转向 hybrid representation。

第二，Liquid Fusion Module：先用 VMamba state 生成 channel modulation 来过滤 ConvNeXt stimulus，再由拼接后的特征生成 spatial gate，最后执行 gated interpolation。它解决的是异构特征不能静态融合的问题；需要它是因为 CNN/SSM 的信息价值随区域变化，边界、纹理、遮挡、全局定位场景下应选择不同偏置。核心变化是从 fixed fusion 转为 content-adaptive bias arbitration。

第三，Saliency-Guided Upsampling：解码阶段同时走频域调制和空间卷积分支，试图在上采样时保留全局形状一致性与局部边界。它解决的是 saliency dense prediction 中常见的 upsampling blur 和结构破碎。这里更像有效 decoder engineering，但与论文的频谱叙事保持一致。

Key Insight / Why It Works

最可能真正有效的原因是 better inductive bias + representation alignment，而不是 LNN 动力学本身。VMamba 与 ConvNeXt 的组合接近一个轻量 ensemble：一个提供全局语义和长程依赖，一个提供局部结构与边界细节。SOD 正好是低频 objectness 与高频 contour 都很重要的任务，因此这种组合天然契合任务需求。

LFM 的价值在于避免双流直接融合带来的噪声注入。ConvNeXt 的局部高频信息并不总是有用，尤其在 clutter background、纹理干扰和跨模态噪声中可能伤害 saliency；VMamba 的全局状态也可能过平滑、漏边界。动态 gate 相当于在空间上做 representation arbitration。这个机制比 add/concat 更合理，也比 cross-attention 更便宜。

最核心贡献应是“用频谱偏置解释并组织 CNN-SSM hybrid”，而不是具体的 LNN 公式。文中的 liquid fusion 实际上是 sigmoid-gated interpolation，没有真正的连续时间状态演化，也没有证明其动力学性质对 SOD 有独立贡献。SGU 可能是有用辅助，但更像 decoder-side engineering；它的增益不应被过度解释为核心理论贡献。

需要警惕的是，部分提升可能主要来自 scaling / data / backbone complementarity：双 backbone、预训练 VMamba、ConvNeXt、统一多任务训练和更强 decoder 都会带来收益。文中消融虽然显示 LFM 优于 cross-attention/add/concat，但未充分隔离参数量、训练稳定性、backbone 初始化、数据混合策略对最终性能的影响。因此“频谱互补导致 SOTA”是合理假设，不是被严格证明的因果链。

Relation To Prior Work

这篇最接近三条路线的交叉：general SOD 统一框架、Mamba/SSM dense prediction、CNN-Transformer/SSM hybrid fusion。相对 Samba 等 SSM-based SOD，它的真正不同点是放弃“继续优化 scan pattern 以让 SSM 单独覆盖所有视觉结构”的路线，转向用 CNN 补足 SSM 的局部与高频偏置。相对 VSCode/VST 等 Transformer-based general SOD，它避免 quadratic attention，主要依靠 SSM 线性建模与门控融合保持效率。

看似新的 LNN/Liquid 部分，本质上与 gated fusion、dynamic feature selection、highway interpolation 有很强亲缘关系；新意更多在于把它包装为 state-stimulus paradigm 并用于 CNN-SSM 异构融合。SGU 的频域分支也属于已有 spectral filtering / frequency-domain enhancement 思想的重组。实质创新在于：作者把频谱偏置分析、异构 backbone、动态门控、多模态扩展放进一个统一 SOD 框架，并用 benchmark 显示这种组合比纯 SSM 工程化更有效。

Dataset / Evaluation

评估覆盖面很广，包含单模态、双模态、视频、三模态 SOD，确实支持“general SOD framework”这个表层 claim。相比只在 RGB 或 RGB-D 上验证的方法，这种跨任务评估更能说明框架有一定 task-level adaptability。消融也覆盖 RGB、RGB-D、VDT，能部分支撑双流、LFM、SGU 的必要性。

但 evaluation 仍主要是 offline benchmark accuracy，没有真实部署、实时端侧、跨数据源域外泛化或高分辨率复杂场景测试。它验证了“在现有 saliency benchmark 上表现强”，但没有完全验证“频谱互补带来 generalizable full-spectrum perception”。多任务数据之间可能共享 saliency annotation 风格和场景偏置，模型泛化也可能依赖 benchmark distribution coverage。文中提到去重以避免 leakage，但没有充分展开 joint training protocol、验证集选择和跨任务数据混合对结果的影响。

Limitation

第一，核心前提是 CNN 与 SSM 的频谱偏置稳定且互补，并且这种互补对 saliency 决策有效；文中只给出 FFT profile 与性能消融，未充分证明二者的因果关系。频谱能量差异不等于任务信息互补。

第二，方法把 general SOD 的一部分难题转移到 gate 学习上：门控必须判断什么时候信任 VMamba、什么时候信任 ConvNeXt、什么时候吸收辅助模态。若遇到强噪声深度、热成像错位、视频运动模糊或 domain shift，gate 是否还能做正确 arbitration，文中未充分说明。

第三，所谓 liquid dynamics 更像 engineering metaphor。实际没有长期状态、ODE 求解、temporal memory 或 test-time adaptation；因此不能把性能提升归因到 LNN 的连续时间建模能力。它更接近一种受 CfC 启发的动态插值。

第四，scalability 上限不清。双 backbone 虽然比 heavy transformer 参数少，但计算路径仍是并行双流；扩展到更多模态时 cascade LFM 可能带来顺序偏置和误差累积。对真实实时部署，参数量不是唯一瓶颈，latency、memory bandwidth、FFT 上采样成本都需要验证。

第五，增益来源不清。SOTA 提升可能来自 backbone 选择、预训练、联合训练数据覆盖、decoder 设计、deep supervision 的共同作用，而不完全来自 liquid fusion。现有消融不足以排除这些因素。

Takeaway

• 1. 对 dense prediction，继续在单一 SSM 内部设计更复杂 scan pattern 可能不是最优方向；显式引入 CNN/SSM 的异构偏置，可能更直接地覆盖语义与边界两端需求。
• 2. 频谱视角有迁移价值：不是把 FFT 当作装饰性可视化，而是用它指导 backbone pairing、fusion policy 和 decoder design。
• 未来更值得做的是建立 frequency-response 与 error taxonomy 的因果对应。
• 3. LFM 最值得迁移的不是 LNN 名字，而是 state-stimulus 式的动态 bias arbitration：把一类表示作为稳定 memory，另一类表示作为可控 stimulus，用门控决定信息注入强度。

一句话总结

LFNet 是一篇把 general SOD 从纯 SSM 扫描工程推进到 CNN-SSM 异构频谱偏置协同的工作，真正贡献在于用动态门控组织 architectural bias，而不是提出了严格意义上的 liquid neural dynamics。