Awesome World Models / OpenReview

MS-SSM: A Multi-Scale State Space Model for Enhanced Sequence Modeling

作者：作者信息待提取 · 来源：General Approaches to World Models · 发布日期：2025 · 分类：1. Foundation World Models / Classics / Other Awesome Models

基础世界模型

精读笔记

Problem Setting

论文标题：MS-SSM: A Multi-Scale State Space Model for Enhanced Sequence Modeling（Awesome World Models / 2025）。

这篇论文真正处理的是 SSM 的“有限状态如何覆盖多时间尺度依赖”的问题。标准 SSM / gated SSM 在工程上已经能做到线性推理和并行训练，但其记忆机制本质上仍由递归谱结构控制：要长记忆就需要 eigenvalue 靠近单位圆，要更强 recall 往往需要更大 state。问题是现实序列中的信息并不都处在同一时间尺度上，高频局部扰动、周期性模式、低频趋势、层级结构会竞争同一套 recurrent state。

困难点不在于 SSM 完全不能建模长程，而在于它用同一个动态系统同时承担短期细节和长期摘要，导致状态容量使用效率低。已有路线通常通过增大状态、堆叠层数、input-dependent gating 或局部卷积补足，但这些并没有从建模结构上解决“不同时间尺度应该被不同记忆机制处理”的矛盾。MS-SSM 的切入点就是重新组织状态空间，使 memory budget 按尺度分工。

Motivation

作者的核心观察是：许多序列任务中的可预测结构天然是 multi-resolution 的，而传统 SSM 在 raw sequence 上做单尺度递归，缺少显式尺度归纳偏置。Mamba / S6 通过 input-dependent 参数提升选择性，但选择性不等于多尺度性；它可以决定写入/遗忘，却没有明确告诉模型哪些信息应该进入长时低频通道，哪些只需要短时高频通道。

已有 multi-resolution convolution 或 dilated convolution 可以捕获不同局部窗口的 pattern，但其有效感受野仍受卷积结构限制，缺少每个尺度内部的全局递归记忆。已有频域方法如 Fourier mixing 又通常非因果，且时间定位差。作者看到的缺口是：需要一种因果、时间定位良好、可并行、又能把多尺度局部表示接入长程记忆系统的结构。

Core Idea

MS-SSM 的核心不是“在 SSM 前加卷积”，而是把 sequence dynamics 拆成多个 resolution-specific dynamics：先把原始序列通过 learnable stationary-wavelet-like causal filter bank 分解为细节与近似分量，再让每个尺度由自己的 SSM 追踪时间演化，最后动态聚合尺度输出。

这改变了 SSM 的建模方式：单个递归状态不再被迫同时压缩所有频段，而是多个尺度分支分别维护自己的历史。低分辨率分支天然承载更慢变化和更长记忆，高分辨率分支处理局部变化和短期结构。相比单纯扩大 state size，这是一种结构化 memory allocation；相比纯多尺度卷积，它又给每个尺度提供全局 temporal mixing。因此它的可扩展性来自“把长期记忆建在降噪/降频后的表示上”，而不是暴力延长原始时间轴上的记忆。

Method

关键机制可以压缩为四个。

1. Learnable multi-scale decomposition：用因果 dilated depthwise convolution 递归产生多个尺度表示。它解决的是 raw token stream 混杂不同频率的问题；必要性在于为后续 SSM 提供尺度分离后的输入，使长程记忆不必直接处理全部高频噪声。这里的重点不是 wavelet 正交性或完美重构，而是学习适合任务的滤波器组。

2. Per-scale SSM array：每个尺度接一个独立 SSM，包括原始信号分支和多尺度分支。它解决的是不同尺度共享同一递归动态导致的容量冲突；核心变化是把 recurrent state 从 monolithic memory 变成尺度专用 memory banks。

3. Scale-dependent spectral initialization：低分辨率尺度的状态转移初始化更接近单位圆，高分辨率尺度更偏短记忆。它解决的是优化初期各尺度职责不清的问题；本质上是在谱空间中把 memory horizon 与 representation scale 对齐。

4. Input-dependent scale mixing / gating：用原始输入控制 SSM 参数和尺度聚合。它解决的是不同样本、不同 token 下尺度重要性变化的问题；但从消融看，它更像路由与调制组件，不是主贡献。文中也显示 raw input gating 比 scale-specific gating 略好，说明原始 token 仍承担全局控制信号的角色。

Key Insight / Why It Works

我认为这篇最重要的 insight 是：SSM 的 effective memory 问题不一定只能通过更大 state 或更接近单位圆的谱来解决，也可以通过“先改变被记忆的对象”来解决。若低频趋势先被分离出来，那么同样长度的递归记忆在该尺度上覆盖的语义跨度更长；若高频细节单独处理，就不会污染长时状态。这是 memory reuse / memory factorization，而不是纯 scaling。

最可能贡献主要来自 multi-resolution convolution。消融中去掉 recurrent module 后性能下降不大，但去掉 multi-resolution convolution 后 ListOps 大幅退化，说明尺度分解是主因。SSM 的作用更像是在每个尺度上扩展局部滤波后的 temporal receptive field，而不是唯一的表达来源。scale mixer、input-dependent gating、初始化都是让这个分解更稳定、更可用的辅助结构。

它本质上是 better inductive bias，而不是 retrieval、test-time compute 或 data scaling。ListOps 上的提升不应被过度解释为真正 reasoning；更合理的解释是层级括号结构与多尺度滤波/长短记忆分工高度匹配，因此模型更容易形成可传播的层级摘要。所谓 reasoning 更像结构匹配下的 sequential computation，而不是通用符号推理。

Mean mixing distance 的 Jacobian 分析能说明 MS-SSM 的梯度依赖更远，但这不是严格的 recall 证明。更长 Jacobian mixing 也可能来自多分支卷积路径和状态聚合，而不代表模型真正可控地存取远端信息。因此这部分是有用诊断，不是理论闭环。

Relation To Prior Work

MS-SSM 最接近三条路线的交叉：S4/S5/Mamba 类 SSM、多尺度卷积记忆模型、wavelet / filter-bank 式多分辨率分析。

相对 Mamba / S6，真正差异不是是否 input-dependent，而是 Mamba 仍主要在单尺度 token stream 上选择性递归；MS-SSM 显式把输入拆到多个尺度后再递归。也就是说 Mamba 解决的是 selective writing，MS-SSM 解决的是 scale-specific storage。

相对 MULTIRESNET / multiresolution convolution，MS-SSM 的新增信息是每个尺度后面接全局递归动态，而不是只靠有限卷积 receptive field。这个差异在需要长程结构时很关键：卷积负责局部尺度化，SSM 负责尺度内长程传播。

相对 Fourier / spectral token mixing，MS-SSM 保留因果性和时间定位，不需要整段序列的全局频域变换。相对 Clockwork RNN，它继承了“不同模块不同时间频率”的思想，但用 learnable filter bank + SSM array 实现，更适合现代并行训练。

因此这篇不是全新范式，而是把 wavelet-style MRA、dilated causal conv、SSM spectral memory 和 input-dependent routing 组合成一个相对干净的结构化 SSM。实质创新在于 memory horizon 与 representation scale 的显式对齐。

Dataset / Evaluation

实验覆盖了图像序列、ECG 时间序列、ListOps 层级结构和 LRA 长程 benchmark，范围比单一任务充分，基本能支撑“多尺度结构有助于长程序列建模”的 claim。尤其 PTB-XL 和 sCIFAR 这类天然多尺度信号比较贴合方法假设，结果也最符合预期。

但 evaluation 仍有明显边界。第一，任务多数是分类或判别式 benchmark，没有验证 autoregressive generation、在线 rollout 或 world model 中的长期状态预测。第二，LRA / ListOps 对 inductive bias 很敏感，不能直接外推到真实语言推理或规划。第三，ImageNet patch sequence 结果说明该 block 可用于视觉 backbone，但并不能证明它比视觉专用结构或现代 hybrid SSM 更有根本优势。

消融是本文较有价值的证据：去掉多尺度卷积性能明显下降，说明主 claim 有支撑；S4/S6 两个版本均有效，说明不是 Mamba gating 的附庸。但文中对参数匹配、有效状态总量、并行分支带来的隐性容量提升仍解释不够充分，增益是否完全来自更好的结构化状态分配而非等效容量变化，文中未充分说明。

Limitation

最大前提是数据存在可由局部滤波捕获的多尺度结构。对于高度离散、非平滑、依赖由稀疏事件触发的序列，dyadic multi-scale convolution 未必是合适分解；它可能只是引入了额外的局部卷积归纳偏置。

第二，尺度分支数增加后，虽然作者声称匹配 effective state size，但并行分支、scale mixer 和滤波器组会改变优化路径与隐性容量。增益来源不清，特别是在不同 baseline 的训练 recipe、参数预算、state budget 是否完全公平上仍需要更严格控制。

第三，scale-dependent initialization 是合理但手工设计的先验。它假设低分辨率就应该长记忆、高分辨率就应该短记忆；这在信号处理任务中自然，但在语言或程序执行中未必成立。若任务需要高频 token identity 的长期保存，这种先验可能反而压制能力。

第四，所谓长程和层级 reasoning 仍主要由 offline benchmark 支撑。ListOps 提升不能证明模型形成了通用 hierarchical parser；更可能是 benchmark 结构与多尺度 inductive bias 对齐。泛化到真实 deployment、长上下文语言建模、agent world model rollout 时，是否仍能稳定维护抽象状态，文中未充分说明。

第五，SWT-like redundant representation 会增加计算和内存，S 较小时成本可控，但如果要覆盖更长上下文或更复杂尺度，分支数/滤波长度/状态数的组合增长可能成为实际上限。

Takeaway

  • 1. 对 SSM 来说，提升长程能力不只有扩大 state 或调谱半径一条路；更有价值的是改变状态记忆的输入对象，把 raw sequence 先结构化成不同尺度。
  • 2. 多尺度卷积本身不够，SSM 本身也不够；强点在于“局部尺度分解 + 尺度内全局递归 + 尺度相关记忆初始化”的组合。
  • 3. 这篇给 world model / long-horizon modeling 的可迁移 insight 是：长期状态最好不要直接从高频观测流中学习，而应先形成不同时间尺度的 latent channels，再让每个 channel 维护自己的 dynamics。
  • 4. 未来更值得做的是自适应尺度、跨尺度递归通信，以及在生成式长上下文 / model-based rollout 中验证这种 memory factorization 是否真的减少 compounding error，而不是只提升判别 benchmark。

一句话总结

MS-SSM 是一类把 SSM 从单尺度递归记忆推进到尺度分解式结构化记忆的模型，真正贡献在于用多分辨率表示重分配有限状态容量，而不是发明新的递归单元。