精读笔记
Problem Setting
这篇论文实际解决的是 VLM 在新闻图像阅读中的“证据依赖 vs 来源依赖”问题：当截图里同时包含文章内容和出版方身份时，模型的可信度判断到底由哪一路信号主导。真正困难点不是发现模型知道某些媒体声誉，而是把这种声誉先验从 OCR token、页面风格、作者名、authority phrasing、prompt yes-bias 和内容质量中干净分离出来，并证明它在 forward pass 中被因果使用。以前工作卡在行为层：能说明模型有 source preference，但不能说明视觉 logo 是否足够触发、该偏好在哪里形成、为什么能压过内容。关键矛盾是：VLM 明明能读出文章是否引用了具体来源，却在默认 credibility judgment 中选择把品牌先验当成更强证据。
Motivation
已有路线不够的地方在于它们把 source bias 当成输出偏好，而不是内部机制。text-only LLM 审计只能测试媒体名字符串，无法覆盖真实网页/新闻截图中的视觉品牌身份；普通 multimodal robustness benchmark 又通常关心图像-文本冲突或事实识别，不关心“谁发布的”这种社会身份信号。作者的核心观察是：新闻来源在视觉界面中高度显著，VLM 很可能把 masthead/logo 当作实体检索键，直接调用训练中积累的声誉记忆。关键缺口因此是一个 mechanistic 缺口：不仅要问模型是否信任品牌，还要问这个信任是否局部可定位、是否与内容证据共用通路、是否可以被干预。
Core Idea
核心思想是把新闻来源身份建模为一种 parametric memory key：品牌名称、logo、domain 都不是普通 surface cue，而是触发“该 outlet 是否可信”的内部记忆索引。作者通过控制渲染环境，让文章内容、版式、长度和问题形式基本不变，只改变来源身份的不同编码，从而把可信度变化归因到品牌先验。
更重要的是，论文没有停在 benchmark 层，而是把 source override 解释为 shared-pathway 的信号幅度问题。品牌和内容都进入同一可信度 readout，但品牌方向在表示空间中的位移更大，所以冲突时来源决定符号。这和 prior 的本质区别是：不是说 VLM 多了一个视觉 bias，而是说视觉实体识别可以直接检索社会信誉记忆，并在中后层转化为可操控的可信度轴。
Method
方法的关键不在渲染细节，而在机制隔离。第一，使用 factorial screenshots 隔离 brand identity：none/fictional/name/logo 等条件分别排除 layout、masthead presence、OCR 字符串和真实 logo 的混淆；这一步解决“模型是不是只对页面好看程度反应”的问题。第二，使用 brand × content 的冲突设计：well-sourced 与 red-flag 内容共享事实，只改变 epistemic markers；这一步把来源先验和内容证据放到同一尺度上比较。第三，Source-Override Index 用 cue effect / content effect 的比值做跨模型诊断；它避免 raw logits 不可比，但保留“是否压过内容”的核心问题。第四，mechanistic localization 采用 probe 候选、patching 确认、SAE steering 干预的链条；probe 单独不可信，因为早层可由字符串 shortcut 造成虚假可解码性，patching 才是因果定位的主证据。
Key Insight / Why It Works
最重要的 insight 是：source credibility 在 VLM 中更像实体记忆检索，而不是视觉感知偏差。logo 能触发排序，说明模型不需要读到媒体名 token；domain 也能触发，说明关键变量是 outlet identity，而不是 masthead 的具体形态。作者用 negative controls 显示 author、authority sentence、layout 基本不触发同等级 override，这一点很关键：否则结论只能是模型被“权威感”骗了，而不是品牌身份先验。
为什么方法成立？因为设计把“来源是谁”和“内容说了什么”正交化，并用相同 readout 测两者效应。cite probe 的结果尤其重要：模型能识别内容证据质量，所以 credibility failure 不是 perception failure，而是 decision policy 默认更重来源先验。机制上，patching 显示品牌与内容在同一中后层路径有效，支持“幅度压制”而不是“双通道竞争”。
我认为真正核心贡献是 source prior 的因果定位和可控性，而不是 CueTrust benchmark 本身。CueTrust 更像把现象标准化；mechanistic chain 才把它从 audit 变成机制论文。SAE feature 证据有价值，但不应过度解读：文中也承认 override 的 SAE-level localization 不充分，credibility 可能是 distributed direction。增益来源很可能主要来自数据覆盖和预训练中的品牌共现，而不是模型学会了可靠的新闻证据推理；所谓可信度判断更像 retrieval + calibration，而不是 reasoning。
Relation To Prior Work
最接近的是 text-only LLM source preference / credibility rating 工作，以及 VLM 中视觉-语言冲突、sycophancy、mechanistic probing/patching/SAE steering 这几条线。和 Khan et al. / Yang & Menczer 一类工作的本质差异是模态和机制：他们证明媒体名会影响输出，这篇证明视觉品牌身份也能触发同一类 prior，并进一步定位到中后层表示。和一般 VLM hallucination 或 visual conflict 工作不同，这里冲突不是图像事实 vs 语言知识，而是社会身份先验 vs 当前证据。
看似新的部分中，benchmark ratio、factorial controls、activation patching、SAE steering 都是已有工具重组；实质创新是把这些工具用于“来源可信度”这种社会语义属性，并证明它有实体记忆式的视觉触发机制。它属于 mechanistic interpretability + model auditing 的交叉谱系：不是提出新模型，而是把一个部署风险拆成可测、可定位、可干预的内部变量。
Dataset / Evaluation
评估设计总体是支持核心 claim 的，因为它不只看品牌打分，而是同时覆盖 channel isolation、content conflict、negative controls、cross-model SOI、cross-lingual、real screenshot 和 intervention generalization。尤其是 negative controls 很有说服力：如果 author 或 authority mention 也强 override，论文的“outlet identity-specific”说法会弱很多；现在结果更像是模型对 publisher entity 有专门记忆。
但覆盖范围仍然窄。主集合只有八个英文新闻品牌，且 MBFC 作为外部标尺本身有价值立场和地域偏置；真实截图只覆盖少量站点，不能代表开放网页分布。跨语言实验保留品牌 proper noun，因此更多证明 identity key 不依赖英文正文，而不是证明跨文化 source credibility 泛化。CueTrust 验证了“这些模型在这些受控新闻截图上会 source override”，但距离真实部署中的伪造来源、动态网页、长文章、多图、多轮 fact-checking 还有明显鸿沟。
Limitation
最核心前提是模型已经在预训练中见过足够多品牌及其上下文，因此品牌 prior 很可能主要来自数据覆盖。对于低资源媒体、新媒体、本地媒体或刻意伪造的 masthead，这个机制可能失效或变得不可预测。所谓 scale strengthening 也可能主要是 larger models 更好地记住品牌-声誉共现，而不是更好地进行可信度推理；可能主要来自 scaling / data。
第二，可信度 ground truth 依赖 MBFC，且品牌集合太小。模型与 MBFC 高相关不等于模型学到了“真实可信度”，更可能是学到了英语互联网中 dominant reputation distribution。第三，mechanistic 解释仍不完整：patching 定位了因果层位，但没有给出完整 attribution graph；SAE 方向可 steering，但 feature indices seed-dependent，且 override 的 feature-level 机制文中未充分说明。第四，干预是全局压低品牌 prior，不是校准具体品牌；这可能只是把问题从“过度信任品牌”转移成“削弱有用先验”。第五，prompt mitigation 更强，说明部署上最实用的缓解未必需要机制解释；mechanistic steering 的优势是解释性和连续控制，而非性能最优。
Takeaway
- 最值得记住的第一点：VLM 的新闻可信度判断里，来源身份是一个强 parametric prior，而且可以由视觉 logo 触发；这比 text-only source bias 更接近真实部署风险。
- 第二点：source override 不是模型看不懂内容，而是默认决策策略把品牌先验权重设得过高；这类 failure 应该用 cue-vs-content 的相对效应来评估。
- 第三点：mechanistic audit 的有用模板是 measure → localize → intervene，而不是只做 behavioral benchmark。
- 第四点：未来真正值得做的是 provenance-aware VLM、source prior calibration、以及区分“合理使用来源声誉”和“被伪造品牌劫持”的机制，而不是简单移除所有品牌知识。
一句话总结
这篇论文把 VLM 的新闻来源偏见从行为审计推进到可定位、可干预的品牌记忆机制，实质贡献是证明视觉来源身份会作为参数化可信度先验进入共享判断路径并压过内容证据。