精读笔记

Problem Setting

论文题目：On the Vulnerability of Parameter-Level Defenses to Model Merging（arXiv preprint / 2026-06-30）。这篇论文实际解决的是开放模型生态里的一个很具体但关键的问题：模型拥有者发布 fine-tuned checkpoint 后，现有“让模型不可合并”的参数级防御是否真的阻止 free-rider 通过 model merging 复用能力。真正困难点不是怎么 merge，而是如何在不破坏 standalone utility 的情况下让 task vector 无法被第三方线性组合。已有方法卡在一个共同假设：只要对参数施加 secret linear transform 或 permutation，就能破坏不同 fine-tuned models 在同一坐标系下的可加性。但这个假设忽略了 pretrained backbone 本身是公开的、强结构化的、且在参数范数上远大于 task update。关键矛盾是：防御想隐藏 fine-tuned task vector 的坐标系，但 fine-tuned weight 仍然紧贴公开 anchor；只要 anchor 足够强，隐藏坐标系就不是秘密。

Motivation

已有路线不够的原因在于它们把安全性建立在 transform secrecy 上，而不是建立在信息不可恢复上。Params、MergeLock、MergeBarrier 这类方法确实能让 naive merging 崩掉，但它们没有消除 protected model 中关于原始坐标系的大量信息；相反，pretrained weight 被一起变换后成为最强的泄漏源。作者的核心观察是 protected task vector 相比 transformed pretrained weight 小两到三个数量级，这意味着 protected checkpoint 的主成分几乎不是 task information，而是 public anchor 经 secret transform 后的版本。关键缺口是 prior 只评估了未攻击的 unauthorized merging，而没有问：攻击者能否利用公开 pretrained model 反求保护变换。这个方向自然导向 anchor-guided inversion，而不是 defense-specific cracking。

Core Idea

AGA 的核心思想是把“破解某种防御”重新建模为“恢复 protected model 与 public pretrained model 之间的坐标变换”。如果 W_ft = W_pre + τ，且防御给出 W_p = W_ft P，那么在 τ 很小的 regime 下，W_p 近似就是 W_pre P。于是求 T 使 W_p T ≈ W_pre，本质上就是求 P^{-1}。这不是在学习任务，也不是在优化 merging；它是在利用 pretrained anchor 的参数几何冗余做坐标系校准。

这个思路和 prior 的本质区别是：prior defense 关注 task-vector alignment 的破坏，而 AGA 关注 anchor alignment 的可恢复性。它引入的 inductive bias 是“fine-tuned model 是 pretrained anchor 附近的小扰动”，这比具体防御形式更 general，因此能跨 diagonal、orthogonal、invertible、permutation 变换。它 scalable 的原因也很直接：随着模型变大，pretrained anchor 的参数维度和冗余更强，least-squares / matching 反而有更多约束；除非 task update 足够大到淹没 anchor，否则 secret transform 会被高维 anchor 暴露。

Method

方法层面不需要把 AGA 理解成复杂 attack pipeline，它的关键机制很少。第一，anchor alignment：攻击者不需要知道模型是否被保护，也不需要知道是哪种防御，只需把每个 protected projection matrix 与同名 pretrained matrix 对齐。这解决的是 defense-agnostic attack 的问题，核心变化是把 unknown protection recovery 变成可解的矩阵拟合。

第二，连续变换用 least squares。attention projection 上的 diagonal、orthogonal、invertible transform 都可以视为右乘或相关线性映射；在高维矩阵上，W_p T = W_pre 是过定系统，closed-form solution 已足够强。这一步的意义不是工程便利，而是说明防御的 secret matrix 没有密码学意义，只是一个可由 anchor 估计的线性变量。

第三，MLP permutation 用 assignment 而不是 least squares。MLP neuron shuffle 的约束是离散的，连续解会造成排列不严格和跨层误差累积；Hungarian matching 利用 pretrained rows 的相似性做全局最优匹配，解决的是精确恢复离散坐标的问题。

第四，ARF 作为反制不是再加一层 obfuscation，而是在 fine-tuning 时改变几何条件：主动扩大 attention task vector 与 anchor 的距离，让 W_p ≈ W_pre P 这个近似失效。它只作用 attention，是因为 AGA 对连续 attention inversion 依赖 Euclidean proximity；对 MLP permutation 的 cosine/assignment 路径，简单范数放大并不一定有效。

Key Insight / Why It Works

最核心的 insight 是：parameter-level defense 保护的是 task vector 的线性可合并性，但泄漏的是 transformed pretrained anchor。由于 fine-tuning update 很小，protected checkpoint 中绝大多数可观测信号来自 W_pre P，而不是 τP。AGA 有效不是因为攻击算法复杂，而是因为问题本身过约束：一个公开的大矩阵 W_pre 和一个被变换的大矩阵 W_p 给了足够多方程去恢复 P。

这本质上是 representation alignment / coordinate recovery，不是 scaling trick，也不是 data-driven attack。它不需要训练数据，不需要任务标签，不需要 querying model behavior；它复用了 pretrained weights 作为 memory/anchor。越是典型的 small-update fine-tuning，攻击越稳。这里的“泛化”主要来自参数空间几何的共性，而不是算法学到了跨任务规律。

论文中最实质的贡献是把小 task vector 这个 model merging 赖以成立的前提，反过来用于攻击防御。Task arithmetic 之所以能工作，是因为 fine-tuned models 在同一 pretrained basin 附近做低幅度移动；parameter-level defense 试图打乱这个 basin 的坐标，但没有移除 basin anchor。AGA 正是利用同一个 inductive bias：小扰动意味着 anchor dominates。

辅助部分是 dual solver。least squares 和 Hungarian 本身都是标准工具，创新不在算法，而在把它们放到正确的几何问题上。ARF 的思路也直接：让 task vector 大到不能被忽略。但这更像 adaptive patch，说明如何堵 AGA 这条路，并不等价于给出了通用安全模型。

需要直说的是，现有线性权重变换防御更像 obfuscation，不是 robust protection。只要公开 anchor 与 protected weight 同源，secret transform 不是安全边界。MergeBarrier 稍微更难，是因为它动了结构而非纯坐标系；但论文结果也显示，只要 attention 仍可恢复，攻击仍能拿回大量 merging utility。

Relation To Prior Work

这篇最接近的是 model merging 安全/IP protection 中的 proactive parameter defense：Params、MergeLock、MergeBarrier、MergeGuard。它不是提出更好的 merging，也不是常规 ownership verification，而是攻击“让模型不可合并”这条路线的安全假设。

和 Params/MergeLock 的本质差异在于，后者把权重空间看成可以通过 secret transform 上锁的坐标系；本文指出这个锁和公开 pretrained anchor 绑定在一起，锁的形状可被 anchor 反推出。和 MergeBarrier 的差异更微妙：MergeBarrier 尝试结构改写 MLP，使纯逆变换不再完美成立；因此 AGA 对它只能部分绕过，说明结构性改变比单纯线性 transform 更接近真实防御，但仍不充分。

和 MergeGuard/ARF 这类 tuning-stage defense 的关系是：后者承认 post-training obfuscation 不够，需要在训练时改变 task-vector geometry。ARF 的新信息不是“加正则项”，而是明确把安全目标定义为破坏 anchor dominance。看似是 regularization 的重组，实质创新在于把防御目标从制造 merging conflict 转成消除可反演的 public anchor proximity。

技术谱系上，它属于 parameter-space security analysis + model merging geometry，而不是 adversarial examples 或 watermarking。它给 prior work 的打击点很明确：如果防御没有改变模型相对 pretrained anchor 的信息结构，只是做可逆坐标变换，那么大概率是不安全的。

Dataset / Evaluation

实验覆盖范围比较强：视觉、NLP、生成式 LLM；backbone 从 CLIP ViT 到 GPT-2、Qwen2-7B；merging 方法也不只 Task Arithmetic，还包括 CAT 和 LOT；防御包括单一和组合配置。这个设置基本能支撑作者关于“当前线性参数级防御普遍脆弱”的 claim，尤其因为攻击是 defense-agnostic，不依赖知道具体保护机制。

评价最有说服力的地方不是某个数字，而是两个现象稳定出现：naive merging 被防御打崩，但 AGA 后恢复到接近未保护；组合线性防御也挡不住，因为组合后仍是可由 anchor 对齐恢复的坐标变换。跨 backbone 的范数分析也支撑了核心假设：task vector 小、anchor 大。

明显 limitation 是实验仍然主要在同源 pretrained checkpoint、标准 fine-tuning、公开权重的 offline benchmark 上。真实部署中可能存在 checkpoint 版本差异、继续预训练、adapter-only release、量化、混合专家、私有 tokenizer/architecture modification 等因素，文中未充分说明这些会怎样影响 AGA。ARF 的评估也主要证明它能挡住本文攻击，并不证明它对更强 adaptive attack 或合法 merging 需求无副作用。

Limitation

AGA 的根本前提是攻击者拿到正确或足够接近的 pretrained anchor。若 released model 来自不可公开的 pretraining checkpoint、经过长时间继续训练，或 backbone 已发生非线性结构变动，anchor alignment 的误差可能显著上升。文中未充分说明 checkpoint mismatch 下的鲁棒性。

它主要针对可逆线性/置换型参数保护。对真正不可逆、训练时改变表示、结构级重参数化、或只发布 adapter/服务接口的场景，结论不能直接外推。MergeBarrier 已经显示结构改变会降低恢复上限，虽然仍不够强。

理论分析依赖小 task vector 和良好 rank/margin 条件。经验上这些条件在 lightweight fine-tuning 中成立，但如果任务需要大幅参数迁移，或者 fine-tuning 数据规模很大，AGA 的优势可能下降。换句话说，它攻击的是当前 efficient fine-tuning + model merging 生态的典型几何，而不是所有训练范式。

ARF 的局限也很明显：它通过扩大 task vector 破坏 AGA，但可能同时损害未来合法 merging、模型可组合性和参数效率。它把安全性建立在“远离 anchor”上，这和 model merging 依赖“共享 basin / 小位移”的基本前提存在天然张力。防御成功可能意味着牺牲开放模型可复用性，只是论文主要报告 standalone utility，没有充分分析后续适配与合法组合代价。

增益归因方面，ARF 看起来主要来自破坏 representation alignment，而不是更深的 security mechanism。它不是证明了训练时防御天然安全，而是证明了一个特定攻击假设可以被反向 regularization 破坏。

Takeaway

• 第一，开放权重下的参数级可逆变换基本不能当安全机制；只要 pretrained anchor 公开，secret coordinate transform 很可能可恢复。
• 第二，model merging 的优势和风险来自同一个几何事实：fine-tuned models 是 pretrained basin 附近的小 task vectors。
• 这个事实让 task arithmetic 可行，也让 linear protection 脆弱。
• 第三，未来防御如果还停留在 post-hoc obfuscation，大概率只是增加攻击成本；真正值得做的是 training-aware、不可逆、且明确改变 anchor leakage 的机制。

一句话总结

这篇论文把 model merging 防御的安全性问题从“如何打乱 task vector”推进到“公开 pretrained anchor 会反推出隐藏坐标系”，本质上是一次针对线性参数 obfuscation 的几何层面破防分析。