精读笔记
Problem Setting
论文实际处理的是 decentralized multi-task data marketplace 中的 dataset-level valuation：多个 seller 各自持有私有数据，buyer 想知道哪些数据对一组目标任务最有价值，但不能先拿到数据，也不能为每个 seller coalition 反复联合训练模型。困难点不在 Shapley 定义，而在 Shapley 需要一个 coalition utility；传统 utility 来自 coalition 数据上的 MTL/retraining，这正好同时违反隐私约束和计算约束。关键矛盾是：经济解释上想要 marginal contribution，工程现实上又不能访问 coalition 数据、不能做 coalition training。
Motivation
已有路线卡在两个假设：中心化数据访问与反复重训。Data Shapley、MC-Shapley、DU-Shapley 都在不同程度上降低组合复杂度，但仍然需要用 seller 数据训练或构造 coalition 数据，因此不适合预购买估值。作者的核心观察是 model merging 文献已经暗示：从同一 base 出发的多个 fine-tuned models，其 task vectors 的线性组合可以近似 multi-task / mixture training。缺口就在于：model merging 以前主要被用来做模型组合或数据混合选择，而不是作为 dataset valuation 的 utility oracle。
Core Idea
DMVM 的本质是把“数据集的边际价值”重写成“该数据集诱导的参数位移在多任务验证集上的边际效应”。每个 seller 不交数据，而是交出或通过协议贡献一个从 shared pretrained model 到 seller-tuned model 的 task vector；coalition 的模型由 task vectors 相加得到；coalition utility 由 merged model 在 buyer target validation tasks 上的平均表现定义。这样，Shapley 的组合结构保留，但 coalition evaluation 的物理实现从 retraining 变成 merging。
这个想法引入的 inductive bias 很强：它假设有用数据会在 shared representation 附近产生可线性叠加的方向，而多任务泛化主要由这些方向的几何关系决定。相比 prior，它不是优化 Shapley 采样效率，也不是设计新的 valuation axiom，而是替换 utility oracle。它把 valuation 的瓶颈从“训练数据组合”迁移到“参数组合是否忠实模拟数据组合”。如果 model merging 与 MTL 的相关性成立，这个替换会非常有效；如果任务间强干扰或 fine-tuning 进入非线性区域，估值就会偏。
Method
方法的关键机制可以压缩为三层。第一层是 merging-based utility：对任意 seller subset，用 θ_pre + α Σ_i(θ_i − θ_pre) 得到 coalition model，再在 buyer 的多任务验证集上计算 utility；它解决的是没有 coalition 数据时如何获得 coalition performance proxy。第二层是 Shapley / MC-Shapley over proxy utility：确定性 DMVM 仍遍历 coalition，MC-DMVM 采样边际贡献；它解决的是如何把 proxy utility 转成 seller-level attribution，同时保留 Shapley 的平均边际贡献解释。第三层是 privacy-aware aggregation：secure aggregation 让 buyer 只看到合并模型，unmergeable transformation 尝试阻断通过重叠 coalition 相减恢复 individual model；它解决的是直接暴露 seller model 会泄露数据或商业资产的问题。
理论部分不是证明 DMVM 本身一定准，而是把已有 task arithmetic 与 MTL 参数误差界搬到 Shapley 误差上：若 merged model 与 MTL model 的参数差可控，且 loss Lipschitz，则 proxy Shapley 与 true Shapley 的误差可界定。MC 版本再叠加 Hoeffding 采样误差。这个理论给出了误差分解框架，但常数依赖梯度/Hessian bound、优化步数、α、n，实际 tightness 很有限。
Key Insight / Why It Works
最核心的有效性来自 representation alignment，而不是 Shapley 本身。shared pretrained model 提供了一个共同坐标系，使不同 seller 的 fine-tuning update 可以被当作可比较、可加的 task vectors；buyer 的 multi-task validation set 则把这些向量的组合效果投影成 utility。换句话说，DMVM 成立的关键不是“估值理论更好”，而是“参数空间中的线性结构足够保留数据贡献信息”。
最可能的核心贡献是把 model merging 作为 data valuation 的 surrogate utility oracle。这一改动让原本需要 raw data + retraining 的估值流程变成 model-space inference pipeline。secure aggregation 和 unmergeable transformation 是必要的部署补丁，但不是主要科学贡献；它们的安全性也没有达到严谨密码协议级别的论证。
方法本质上依赖 better inductive bias / representation alignment，而不是 retrieval、planner、test-time compute 或 curriculum。它利用的是 pretrained model 附近的 latent linearity：相关数据产生的 task vector 与目标任务方向一致，irrelevant 或 harmful data 产生弱贡献或负贡献。实验中 harmful label noise 被降权也符合这个解释。
需要直接指出：这篇的增益很大程度上可能来自“model merging 已经是强 proxy”这一外部事实，而不是 valuation 公式的新颖性。若 merging 与 mixture training 的相关性下降，DMVM 会同步失效。另一个潜在问题是 buyer validation set 的作用很强：估值可能更像“哪个 seller 的 update 更匹配这些 validation tasks”，而不一定等价于广义数据市场价值。
Relation To Prior Work
最接近的两条线是 dataset Shapley / marketplace valuation 与 task arithmetic / model merging。相对 Data Shapley，DMVM 没有改变 Shapley 的分配原则，而是替换 coalition utility 的计算方式；相对 DU-Shapley，它不是新的采样近似，而是新的 oracle。相对 Merge-to-Mix、task-vector theory，它把 merging 从模型组合工具转成经济估值工具。
看似新的部分中，Shapley 估值、MC 采样、secure aggregation、task arithmetic 都不是新组件；真正新增的信息是把这些组件拼成一个适合 decentralized multi-task valuation 的闭环，并指出 model merging 的线性组合可以作为 dataset coalition 的 counterfactual。实质创新在 problem reframing：把数据估值问题转化为参数空间组合问题。它属于“model-space proxy for expensive data-space computation”这条技术谱系。
Dataset / Evaluation
评估覆盖了 NLP 与 vision，并且包含现实数据集 marketplace 模拟、target task 数变化、seller 数变化、controlled relevance、overlap/non-overlap、noise/harmful seller、MC 收敛与 scalability projection。覆盖面作为 arXiv preprint 已经比较完整，尤其 controlled simulations 有助于验证 ranking 是否对应任务相关性，而不是只在自然 benchmark 上碰巧有效。
但 evaluation 仍主要验证“在小到中等 seller 数、同一 base model、标准 fine-tuning、标准 benchmark 上，DMVM 与 ground-truth Shapley 相关”。它没有真正证明大规模市场部署中的 privacy/security claim，也没有证明不同 seller 自主训练策略下的鲁棒性。scalability 图更多是按复杂度公式外推，不是真实大规模系统实验。benchmark 支持核心 claim 的方向是充分的，但对上限和失效条件的刻画不足。
Limitation
最大的隐含前提是所有 seller 从同一 pretrained model 和同一架构出发，并且 fine-tuning update 落在 task arithmetic 可组合的区域。现实市场里 seller 可能有不同训练 recipe、不同数据规模、不同 adapter、甚至不同模型族；这些都会破坏参数空间可比性。第二个前提是 buyer 有可信、多任务代表性的 validation set；如果 validation set 偏窄，估值会奖励 validation-overfitting 的 task vectors，而不是一般意义的数据价值。
scalability 上，deterministic DMVM 仍是 O(2^n) coalition evaluation，只是把训练换成推理；这不是根除指数复杂度。MC-DMVM 才可扩展，但估值稳定性依赖样本数，且低样本下 ranking 可能波动。privacy-aware 版本排除小 coalition，会系统性丢失部分 Shapley 项，理论上用 R/n 补偿，但实际偏差可能不小。
安全性方面，unmergeable transformation 更像针对线性差分攻击的工程防护，文中未充分说明对 collusion、adaptive querying、malicious seller、side-channel、gradient inversion、validation probing 等攻击的防御边界。理论界也偏 loose，依赖 Lipschitz、二阶近似、full-batch GD、梯度/Hessian 有界等假设；这些条件对现代大模型 fine-tuning 的解释力有限。
还有一个归因问题：实验中 DMVM 表现好，可能主要来自 benchmark/task family 的数据覆盖结构与 pretrained representation 的强先验，而不是 valuation method 本身学到了更深的因果贡献。所谓“多任务估值”在当前实验中更接近 validation-task averaging 下的 model update matching，真实 deployment 中的跨任务泛化仍需更强证据。
Takeaway
- 第一，最值得迁移的 insight 是：当 coalition retraining 不可行时，可以寻找一个 model-space surrogate 来近似 data-space counterfactual；这不仅适用于 dataset valuation，也适用于数据选择、数据采购、federated auditing、model marketplace pricing。
- 第二，这篇真正推动的是 valuation oracle 的替换，而不是 Shapley 理论本身。
- 未来工作更应该研究哪些 merging regimes 与 true data utility 相关，而不是继续微调 Shapley 采样公式。
- 第三，DMVM 暗示 data marketplace 可能从“买数据前评估数据”转向“买数据前评估 seller-induced model delta”。
一句话总结
这篇论文把多任务数据集估值从中心化的 coalition retraining 问题重构为共享初始化下的 task-vector merging 问题，真正贡献是用 model-space linearity 作为 decentralized Shapley utility oracle。