精读笔记
Problem Setting
论文标题：Consecutive Support Matching Induced Parameter Tuning Accelerates Momentum Iterative Hard Thresholding（arXiv preprint / 2026-06-09）。
这篇论文不是在提出新的 sparse recovery formulation，而是在处理 momentum IHT 的参数控制问题。实际问题是：在 hard thresholding 导致 support 不断切换的非凸离散投影过程中，如何让 momentum 既不破坏 support discovery，又能在 support 被识别后发挥 heavy-ball 的谱加速。
真正困难点不是计算 gradient，也不是 hard thresholding 本身，而是 IHT 的有效 Hessian 是 support-restricted Gram matrix A_S^T A_S。support 一变，局部二次模型就变了；固定 μ, β 等价于用一个静态控制器去控制一个 switching system。过于保守的参数浪费 lock-in 后的线性二次结构，过于激进的参数则会在 support wandering 阶段放大错误方向。
以前方法卡在这里：IHT 保守但慢；MIHT/HBHT 引入 momentum 但参数依赖经验或全局条件；FLIHT 也更像固定 Lipschitz/RIP 型调参。它们没有显式利用“support 是否已经稳定”这个离散结构信号。关键矛盾就是 support search 需要鲁棒性，而 fixed-support convergence 需要 aggressive spectral tuning。
Motivation
作者的出发点是：momentum IHT 的性能瓶颈不是有没有 momentum，而是 momentum 何时可信。heavy-ball 在固定 strongly convex quadratic 上有明确的最优参数，但 IHT 在 support 未确定前根本不是一个固定 quadratic；因此直接套 heavy-ball 参数在机制上是不合适的。
已有路线缺少一个低成本的 phase detector。理想上，算法应在 support discovery 阶段像 cautious MIHT/IHT，在 support identification 后像 tuned heavy-ball。问题是如何判断 phase transition 发生了。作者的核心观察是 consecutive support agreement 是一个廉价且自然的稳定性信号：如果两次 hard thresholding 给出同一 support，那么当前迭代很可能已经进入某个局部子空间，至少可以临时把它当成固定 support quadratic 来优化。
这不是在改 sparse model，而是在给 IHT 类算法加一个 event-triggered optimizer controller。关键缺口是从“固定参数 momentum”到“support-state-dependent momentum”的转变。
Core Idea
CosMIHT 的核心思想可以概括为：把 sparse recovery 的迭代过程分成 wandering 与 lock-in 两个 regime，并用 support matching 触发参数重估。在 support 尚未稳定时，使用保守 μ, β，避免 momentum 在错误 support 切换中积累破坏性惯性；当连续两个迭代 support 相同时，在当前 support 上估计 restricted Gram 的最大/最小特征值，然后切换到该 K 维 quadratic 的 heavy-ball 近最优参数。
这个方法改变的是参数选择的建模方式：μ, β 不再被看成全局超参，而是当前 active subspace 的谱函数。它引入的 inductive bias 是“support 稳定意味着局部二次模型稳定”，因此可以更激进地使用二阶谱信息。和 prior 的本质区别不是多了 power method，而是把 hard thresholding 产生的离散 support 序列作为控制信号，重新组织了优化过程中的信息流。
理论上它可能有效，因为一旦 support 正确且固定，IHT 的非凸投影消失，问题退化为 K 维 least squares 上的 heavy-ball；此时 optimal μ, β 的确由 λ_max 和 λ_min 决定。直觉上它比固定 MIHT 更 scalable 的地方在于谱估计只发生在 K 维 active subspace，而不是全局 N 维空间；但这依赖 K 远小于 N 且 support 稳定事件不太频繁。
Method
1. Conservative wandering mode：解决 support search 阶段局部 Hessian 不稳定的问题。这里需要保守参数是因为 momentum 会跨 support 记忆历史方向，而这些方向在新 support 上未必仍是下降方向。核心变化是先牺牲加速，换取 support 识别的鲁棒性。
2. Consecutive support matching trigger：解决“何时调参”的问题。它不试图估计全局 RIP，也不做昂贵的模型选择，而是用 S_t = S_{t-1} 且前一时刻不同作为事件触发。这个机制的作用是把参数更新绑定到 support 稳定，而不是绑定到 iteration count 或 residual norm。
3. Restricted spectral tuning：解决 aggressive 参数如何选的问题。在触发时估计 A_S^T A_S 的谱端点，并设置 heavy-ball 参数 μ = 4/(sqrt(L)+sqrt(l))^2，β = ((sqrt(L)-sqrt(l))/(sqrt(L)+sqrt(l)))^2。它带来的核心变化是从经验 momentum 转为局部 condition-number aware momentum。
4. Power method approximation：解决谱估计成本问题。它是工程上必要的近似手段，但不是概念核心。论文进一步给出随机初始化下的高概率误差界，用来说明少量迭代即可把参数带到 near-optimal 区间。不过该分析依赖谱间隙条件，实际困难 support 上未必总成立。
Key Insight / Why It Works
最重要的 insight 是：IHT 的非凸性在很大程度上来自 support switching；一旦 support 固定，算法面对的就是普通 least-squares quadratic。因此，真正应该加速的是 post-support-identification 的连续优化，而不是整个非凸搜索过程。CosMIHT 的贡献是用一个简单的离散事件把这两个阶段分开。
方法有效的主要原因不是 power method，而是 phase-aware momentum control。固定 MIHT 把 wandering phase 与 lock-in phase 用同一套参数处理，这在机制上是错配的；CosMIHT 则把 aggressive momentum 延迟到局部模型稳定之后。这更像 curriculum / switching control，而不是新的 sparse recovery principle。
核心贡献最可能是 support matching as phase detector。谱估计只是为了让 lock-in 后的收敛率接近 heavy-ball 最优；如果换成精确 eigensolver、Lanczos、甚至粗略 condition estimate，机制仍成立。相反，如果 trigger 不可靠，整个方法会失效：在错误 support 上调到 heavy-ball 参数，会加速收敛到错误 least-squares 解。
这篇方法本质上不是 scaling，也不是 data coverage；它属于 better inductive bias + test-time compute 的组合。它利用了稀疏恢复中的 latent structure——support sequence——并在 test time 上用少量额外计算换取更好的局部优化速度。增益主要应来自更合适的参数时序，而非更强的基础迭代算子。
需要注意的是，文中把 consecutive support matching 当成 reliable signal，但这个可靠性在理论中最终靠较强 RIP、SNR 和 x_min gap 支撑。现实中 support 短暂稳定并不等于正确稳定；在 coherent A 或近似稀疏信号中，两次相同 support 可能只是局部吸引子的早期信号。这里的风险文中没有充分展开。
Relation To Prior Work
最接近的是 MIHT、HBHT、FLIHT 以及 classical IHT 的加速谱系。IHT 是 projected gradient；MIHT 用累积 momentum 改善经验收敛；HBHT 更直接借鉴 heavy-ball；FLIHT/ALPS 风格方法通过 Lipschitz/RIP 型参数增强稳定性。CosMIHT 位于同一条“first-order sparse recovery with momentum”谱系内，不是一个新的 recovery paradigm。
真正不同点在于参数不再是全程固定，而是由 support 序列触发、由 restricted Hessian 谱决定。这个差异比算法公式本身更重要。它把 support 变化看成 switching dynamics，而 prior 多数把它当成 hard thresholding 的副作用。
看似新的地方中，heavy-ball optimal parameter formula 和 power method 都是已有工具；两阶段收敛分析也建立在 MIHT/IHT 和 classical heavy-ball 分析之上。实质创新是把这些工具组合到一个 event-triggered support-aware tuning 框架里，并给出 finite lock-in + post-lock-in acceleration 的理论叙事。
与 restart momentum / adaptive step-size 方法相比，CosMIHT 的 trigger 更结构化：不是看 objective oscillation，而是看 active set stability。这是该工作最有迁移价值的不同点。
Dataset / Evaluation
实验覆盖的是标准合成 compressed sensing：Gaussian sensing matrix、随机 K-sparse Gaussian signal、Gaussian noise，比较 IHT、FLIHT、MIHT 和 CosMIHT。评估指标包括 MSE 随迭代变化、恢复概率、收敛迭代数。结果大体支持核心 claim：CosMIHT 在保持或接近 MIHT 恢复性能的同时，lock-in 后收敛更快；噪声场景下也显示出一定鲁棒性。
但 evaluation 的外推范围有限。所有实验基本在作者理论最友好的 Gaussian/RIP-like regime 中完成，没有 structured sensing、high coherence dictionaries、real inverse problems、compressible rather than exactly sparse signals，也没有真实部署约束。它验证了机制在 canonical setting 下合理，但没有证明该 trigger 在更复杂场景中仍可靠。
另外，baseline tuning 的公平性仍有疑问。MIHT 使用固定 μ=0.6, β=0.8，CosMIHT 则有额外 test-time spectral tuning；如果给 MIHT/HBHT 更强的 adaptive restart、line search 或 support-aware retuning baseline，增益大小可能会变化。文中未充分说明增益中有多少来自“support matching trigger”，有多少来自“对 baseline 参数调得更好”。
Limitation
第一，成立前提强。理论需要 RIP、足够 SNR、x_min 与噪声之间有 gap，并且最终正确 support 会有限时锁定。这些条件在标准 compressed sensing 中可接受，但对实际 inverse problems 偏理想化。
第二，trigger 有误锁风险。S_t = S_{t-1} 只是局部稳定，不保证 S_t = S^star。错误 support 上的 restricted Gram 同样可以被很好地谱调参，算法会更快收敛到错误子问题解。论文理论通过 lock-in theorem 绕开了这个问题，但实际算法没有显式错误检测或 rollback。
第三，power method 的轻量性依赖谱间隙。Proposition 5 假设最大/最小特征方向可被随机初始化和有限迭代捕获；当 λ_1 与 λ_2 接近，或最小特征值附近簇集时，r = O(log K) 的经验说法可能不稳。最小特征值估计通过 shifted matrix 间接完成，也可能在 ill-conditioned support 上更敏感。
第四，实验没有充分隔离贡献来源。CosMIHT 比 MIHT 快是合理的，但这可能部分来自局部谱调参本身，而非 consecutive matching 这个具体触发规则。需要 ablation：固定 true support 后调参、每次 support change 后调参、三次/多次 matching、residual-based trigger、restart-only baseline 等。
第五，scalability 上限来自 support update 频率与 K 维谱估计。如果 K 不小、support 抖动频繁、A_S multiplication 代价高，额外 test-time compute 可能不再 negligible。文中的复杂度论证在 K << N 且 lock-in 较快时成立。
Takeaway
- 1. 对 IHT 类非凸投影算法，加速应当 phase-aware：support discovery 与 fixed-support refinement 是两种不同动力学，使用同一组 momentum 参数本身就是错配。
- 2. support 序列是被低估的控制信号。
- active set stability 可以作为触发 step-size、momentum、restart、局部 solver 切换的通用事件，这个 insight 可迁移到 sparse learning、低秩投影、structured pruning、active-set constrained optimization。
- 3. 这篇真正推动的是“support-aware adaptive optimization”，而不是新的 sparse recovery guarantee。
一句话总结
这篇论文把 momentum IHT 从固定参数启发式推进到 support-aware event-triggered 调参：核心贡献是用连续 support 匹配识别局部二次阶段，并在该阶段切换到 restricted heavy-ball 加速。