精读笔记

Problem Setting

[论文标题] Rethinking Forgery Attacks on Semantic Watermarks in Black-Box Settings: A Geometric Distortion Perspective（arXiv preprint / 2026-06-30）。这篇论文解决的是语义水印在黑盒伪造下的“可归因性破坏”问题：攻击者拿到服务商生成的水印图像，用代理扩散模型反演出近似水印 latent，再生成新内容，使新图像仍能通过服务商水印验证。真正困难点不在于检测水印，而在于区分“服务商真实生成的水印图像”和“攻击者借代理模型复制了水印痕迹的伪造图像”。已有工作卡在只证明攻击可行，却无法解释攻击成功/失败的条件；关键矛盾是，语义水印希望 latent-level embedding 对正常扰动鲁棒，但这种鲁棒性也给了攻击者迁移水印的空间。本文试图利用攻击迁移过程不可避免的 proxy-target mismatch，把这个矛盾反过来变成检测信号。

Motivation

作者的核心观察是：黑盒伪造并不是在目标模型自己的 latent manifold 上做精确移动，而是通过一个结构不完全一致的代理模型完成 inversion / regeneration。只要 proxy 与 target 的反演轨迹、噪声预测器、latent parameterization 或采样动力学存在差异，攻击者即使保留了可验证的水印模式，也会引入额外 latent distortion。已有路线缺的是一个 scheme-agnostic 的解释框架：为什么某些水印被轻易伪造，为什么 cross-model 场景下伪造质量下降，以及防御是否能不绑定 Tree-Ring / GS / TAG 的具体编码规则。本文由此把问题从“设计更强水印 detector”转成“检测伪造过程留下的几何残差”。

Core Idea

论文真正的核心是改变建模对象：不再把黑盒伪造看成水印 bit / pattern 的复制问题，而是看成代理模型在目标 latent 分布上做有失真的 source reconstruction。rate-distortion 框架在这里的作用主要是提供一个语言：proxy-target posterior mismatch 对应不可约信息损失 Dirr，从而存在无法靠更多优化步数完全消除的 distortion floor。

更重要的是后半步：作者没有停在 MSE distortion，而是把不可约失真解释成 latent manifold 上的结构性几何偏移。高维 Gaussian latent 的半径高度集中，所以全局差异更容易表现为方向漂移；局部 token 关系则通过 covariance 的 SPD geometry 反映非均匀形变。这个 inductive bias 比直接用 MSE 更合理，因为常见图像扰动也会改变 MSE，但未必产生同样的 proxy-induced angular / local covariance deformation。

Method

方法只需要抓住三个机制。第一，pre-verification：在水印正式验证前先判断该样本是否像代理模型伪造出来的，解决的问题是避免“水印验证成功即归因成功”的逻辑漏洞；核心变化是把 provenance verification 拆成 authenticity filtering + watermark extraction。第二，global drift metric：用 recovered latent 与 reference watermarked latent 的 cosine alignment 近似 hyperspherical angular distortion，解决的是高维 latent 中径向信息不稳定或不判别的问题；它把攻击残差投影到方向一致性上。第三，local deformation metric：把 latent patch 的局部 token covariance 放到 SPD manifold 上比较，解决的是单一全局角度可能漏掉局部结构扰动的问题；它引入了对邻域几何关系的约束，而不是只看点对点误差。实现上的 grid、top-k、AIRM 细节不是主要贡献，真正必要的是同时约束全局方向和局部结构。

Key Insight / Why It Works

最重要的 insight 是：成功伪造水印与保持目标模型 latent geometry 是两个不同目标，而且在黑盒 proxy 下通常不可同时满足。攻击者优化的是让 forged image 通过水印 detector；但 detector 只检查某种 pattern / bitstream 是否恢复，不要求整个 latent trajectory 与目标模型一致。因此攻击会留下“水印足够像，但几何不像”的残差。本文方法有效，主要不是因为 metric engineering，而是因为它找到了一类攻击目标函数没有显式约束、但目标模型反演能观测到的 side channel。

核心贡献更偏 latent structure / representation alignment，而不是 scaling、retrieval、data coverage 或 test-time compute。G-Cos 很可能已经捕捉了主要可分性，L-SPD 是对局部形变的补充，尤其在全局方向接近但局部邻域被代理模型重排时有价值。rate-distortion 理论部分提供了合理叙事，但严格性有限：Dirr 的定义、Ipen 的 Gaussian surrogate、以及最终 AUC 之间没有形成强可检验链条。可以直接判断：论文真正有效的部分是“proxy mismatch induces structured latent geometry drift”这个经验-几何事实，理论下界更多是 framing，而非完整安全证明。

同模型 proxy-target 是边界案例，也暴露了方法的根基：当结构 mismatch 降低，检测增益只能依赖扩散反演本身的非精确可逆性和累计误差。如果未来攻击者能使用蒸馏得到的近似 target、或直接把几何一致性加入优化，当前检测可能明显变弱。

Relation To Prior Work

它最接近 Müller et al. 这条 black-box semantic watermark forgery 线，但角色相反：Müller et al. 证明语义水印可被代理模型伪造，本文则解释这种伪造为什么在黑盒下通常不干净，并把残差用于防御。和 Tree-Ring、RingID、Gaussian Shading、TAG、PRCW 等水印方案的关系是正交的：本文不改变 embedding，也不增强 watermark code，而是在验证前增加一个几何一致性检查。

看似新的 rate-distortion 表述，本质上是把模型不匹配导致的反演误差重新组织成信息损失；这一点概念上不完全新，但用于解释 semantic watermark forgery 的安全边界是有价值的。更实质的创新是把伪造检测从 watermark-specific statistics 转向 latent manifold geometry，并明确区分全局 angular drift 与局部 SPD deformation。它属于“利用生成模型内部表示几何做安全检测”的谱系，而不是传统鲁棒水印或后处理水印谱系。

Dataset / Evaluation

评测覆盖面相对充分：目标模型包括 U-Net LDM 和 DiT / rectified-flow 系列，代理模型覆盖 SD2.1 与 SD3，水印方案覆盖频域 pattern 与 bitstream-level latent coding，攻击包括 reprompting 类 guidance-based 和 imprinting 类 optimization-based。这个设置基本能支撑“scheme-agnostic、cross-model 有效”的主张，尤其是跨模型场景下几何指标普遍可分。

但 evaluation 仍有明显边界。第一，真实服务部署中的攻击者可能不会固定使用这些公开 proxy，也可能通过大量查询逼近目标模型；这类 adaptive / model-extraction 风险没有被真正验证。第二，后处理鲁棒性测试说明正常 distortion 下几何指标不完全崩，但这不等于真实社交平台压缩、编辑链路、再生成链路下阈值稳定。第三，实验数字非常强，尤其大量 AUC 接近 1，这可能说明信号确实大，也可能说明 benchmark 中 proxy-target gap 太明显；对 hardest near-target proxy 的覆盖还不够。

Limitation

方法成立依赖几个强前提。其一，服务商必须能获得 reference watermarked latent 或等价的 latent key，并能稳定反演待测图像；如果水印系统本身不保存或不可重构 zT，检测管线会受限。其二，正常水印图像的反演误差必须显著小于伪造误差；这在离线实验里成立，但在真实用户上传、多次压缩、裁剪、重生成后未必稳定。其三，理论把 latent 近似为 shared-covariance Gaussian，并用 MSE 建立 RD 下界，这对扩散模型实际的非线性反演只是粗粒度 surrogate，文中未充分说明其 tightness。

安全边界也比较清楚：如果 proxy 与 target 完全一致、或攻击者能学习一个几何保持的 proxy，Dirr 会下降，检测只剩内部反演误差可用。optimization-based 攻击如果显式加入 G-Cos / L-SPD 约束，当前方法是否仍有不可绕过性没有证明。所谓 scheme-agnostic 是对已知 latent-based semantic watermark 成立，不应外推到所有生成式 provenance 机制。增益来源主要是 latent geometry mismatch，而不是水印理论本身更强；一旦 mismatch 被工程上缩小，防御强度会同步下降。

Takeaway

• 最值得记住的第一点：语义水印的安全性不能只看 watermark detector 的 TPR/FPR，还要看通过验证的样本是否保持目标模型 latent geometry。
• 第二，黑盒伪造的天然弱点是 representation alignment，而不是 bit recovery；未来防御应更多利用生成轨迹、latent manifold consistency、score-field consistency 这类攻击难以同时满足的约束。
• 第三，rate-distortion 是一个有用 framing，但真正可迁移的 insight 是把 proxy-induced distortion 从随机噪声改写成结构化几何偏移。
• 第四，下一步真正值得做的是 adaptive forgery under geometric constraints，以及 near-target proxy / distilled proxy 下的安全边界，而不是继续堆更多水印 scheme 的离线表格。

一句话总结

这篇论文把语义水印黑盒伪造从“水印模式能否被复制”的经验攻击问题，推进到“代理模型是否能保持目标 latent 几何一致性”的安全边界问题，实质贡献是提出了一种基于 latent geometry mismatch 的 scheme-agnostic 伪造预检测范式。