精读笔记

Problem Setting

这篇论文处理的是自由观看 gaze 数据中的无监督结构发现：给定多个用户观看多张静态图像产生的 fixation/scanpath 数据，如何发现用户群、图像群，以及更重要的 user-stimulus 条件交互群。真正困难点不是“能不能聚类”，而是无标签 gaze 数据中缺少可验证的语义边界，任何聚类结果都可能只是算法偏置、特征尺度、图像集合偏差或样本量不均衡的产物。以前的方法多停留在 scanpath similarity、AOI/ROI 发现、用户间距离矩阵可视化，通常默认一个实体维度成立：要么聚用户，要么聚图像。关键矛盾在于 gaze 行为本身是交互生成的，但常规表示把用户效应和刺激物效应提前聚合掉了；而如果直接在高维 joint space 聚类，又会遇到样本稀疏、可解释性和无标签验证的问题。

Motivation

已有路线不够的地方在于：它们要么过度依赖单个距离度量或单个聚类器，要么只把 gaze 当作 scanpath/ROI 的几何对象，而没有把 gaze 看作人和图像共同作用后的行为观测。作者的核心观察是，自由观看任务虽然没有外显任务目标，但 fixation count、duration、TTF 等统计量仍然可能编码稳定的 viewing mode；只是这些 mode 不一定在全局用户空间或全局图像空间中线性可分，而可能只在特定用户子集和刺激物子集的组合中出现。关键缺口是一个可复用的无监督分析框架：既能降低单算法偏置，又能支持 user/stimulus/joint 三种层次的结构发现，并用图像级或物体级属性解释结果。

Core Idea

核心思想不是提出新的聚类算法，而是重新组织 gaze EDA 的建模单元。论文把每个用户—图像 scanpath 压缩成 fixation-derived distributional statistics，再根据目标聚合为用户表征、图像表征或 user-stimulus tensor。这样做的 inductive bias 很明确：它假设自由观看中的重要行为差异主要体现在 fixation 数量、持续时间和初始注视延迟的分布形态，而不是完整的时序轨迹。

第二个关键思想是用 consensus/co-association matrix 把“聚类结果的一致性”作为对象，而不是直接相信某个特征空间中的欧氏距离。这个转换在无标签聚类里很有意义：如果多个几何假设不同的聚类器反复把两个实体放在一起，那么这种 pairwise co-membership 比单次分区更像稳定结构。高维部分进一步把问题从 one-way clustering 推到 co-activation：不是问哪些用户相似、哪些图像相似，而是问哪些用户子集在某些图像子集上表现出相似 fixation regime。这是它和 prior 的本质区别。

Method

方法上应关注机制而不是模块堆叠。第一，fixation feature engineering 解决的是跨数据集可比性问题：原始 scanpath 长度、采样、时序质量不一致，直接比较很脆弱；统计化后可聚合、可矩阵化，也更适合 consensus 和 biclustering。但代价是丢掉顺序信息。

第二，consensus clustering 解决的是无 ground truth 下单模型偏置问题。KMeans++、HAC、spectral 分别偏好不同几何结构，co-association matrix 相当于把不同聚类器的局部判断转成 pairwise stability，再由 HAC 进行最终压缩。核心变化是评价对象从 feature distance 变成 cluster agreement。

第三，CSC 与 biclustering 解决的是 user/stimulus 因子不可分的问题。CSC 是顺序式、条件式：先在一个维度上找主簇，再在该簇内部看另一个维度；它适合捕捉“某类用户/图像条件下”的局部结构。Biclustering 是同时式：通过 matrix unfolding 和 spectral decomposition 寻找 row-column checkerboard pattern；它更直接假设 joint matrix 中存在可分解的块结构。两者的差异本质上是 top-down conditional clustering vs simultaneous co-clustering。

Key Insight / Why It Works

最有价值的 insight 是：自由观看 gaze 数据中的稳定结构更像 viewing regime，而不是传统意义上的类别标签。MIT1003 中高 fixation count 对应更 ambient 的浏览模式，而较长或更变异的 fixation duration 对应更 focal 或更复杂的认知处理；EMOd 中 fixation duration variance 可能捕捉情绪刺激带来的不稳定/反复评估。这类结构不一定能从 image color/intensity 这类低阶属性直接推出来，但能从行为统计中显现。

方法有效的主要来源不是复杂模型能力，而是更合适的 inductive bias：把 gaze 行为看作分布统计 + 稳定共聚类关系 + 条件交互结构。这里没有深度表征学习，也没有真正的 sequence modeling；所谓 end-to-end 更像一条系统化 EDA pipeline。最可能的核心贡献是 co-association-based consensus 在 gaze clustering 场景中的稳定化作用，以及把 biclustering/CSC 引入 user-stimulus interaction 分析。

需要直接指出的是，高维聚类部分的增益来源不清。CSC 和 biclustering 在 MIT1003 上有一定一致性，但在 EMOd 上明显分歧；同时 CH、silhouette、DB 指标经常给出矛盾信号。这说明 joint clusters 可能不是强结构，而是特征压缩、簇数设定和算法 inductive bias 共同塑造出来的。很多结果更像 engineering + careful visualization，而不是发现了一个强泛化的 gaze representation。文中未充分说明不同 feature normalization、cluster number selection、object detector error 对最终结论的敏感性。

Relation To Prior Work

这篇最接近三条路线：scanpath similarity / gaze metric clustering，cluster ensemble / evidence accumulation clustering，以及 bioinformatics 中的 biclustering/co-clustering。它的 novelty 不是算法层面，而是把这些已有思想迁移到 free-viewing gaze 的 HII 分析中，并把 user、stimulus、user-stimulus 三个粒度放进同一 pipeline。

和传统 scanpath clustering 的本质差异是，它不再主要比较完整轨迹是否相似，而是比较由 fixation statistics 诱导出的行为分布是否稳定共聚类。和 AOI/ROI clustering 的差异是，它不是先定义空间区域再解释注意力，而是从用户—图像行为统计中反推结构。和 saliency/fixation prediction 的差异更大：它不试图预测哪里会被看，而是分析“看法”如何在用户和图像之间组织。

看似新的部分中，consensus voting、co-association matrix、spectral biclustering 都是成熟方法；实质创新在问题重构和组合方式：把 gaze EDA 从单维聚类提升到交互结构发现，并用 consensus 作为无标签评估下的稳定基线。

Dataset / Evaluation

评估覆盖了两个公开自由观看数据集：MIT1003 偏自然场景，EMOd 偏情绪诱发图像。这个选择能支持“不同图像集合会产生不同 gaze structure”的主张，但不足以证明方法 dataset-agnostic 的行为泛化；更准确地说，pipeline 可以跨数据集运行，结论是否跨场景稳定仍未充分验证。

实验确实验证了几个核心 claim：单一图像低阶属性如 hue/intensity 不能解释 gaze clusters；stimulus grouping 比 user grouping 更稳定；user structure 对图像上下文敏感；joint clustering 能暴露 one-way clustering 看不到的条件结构。但 evaluation 的上限也很明显：无真实标签，consensus 本身又被当作参考，很多 correspondence metric 实际是在度量方法间一致性，而不是语义正确性。Hungarian alignment、ARI/NMI、Cohen’s κ 等能减少标签置换问题，但不能解决 cluster 是否真实的问题。

此外，MIT1003 和 EMOd 的数据格式不一致，EMOd 缺少部分 scanpath/TTF 信息，作者做了假设性标准化。这会影响跨数据集比较的干净程度。文中未充分说明这些数据处理差异是否改变了 user clustering 或 high-dimensional clustering 的结论。

Limitation

最大限制是表征假设过强：论文把 gaze 行为主要压缩到 fixation count、duration、TTF 的统计量，而自由观看策略中的很多关键信息在 saccade amplitude、scanpath order、return fixation、AOI transition 和 semantic target switching 中。若用户差异主要存在于序列策略而非边际分布，当前方法会把真正结构平均掉。

第二，consensus clustering 并不自动等于更真实。它只是把多个算法的共同偏置提取出来；如果基础特征空间本身不充分，co-association matrix 只会稳定地表达错误或浅层结构。增益来源不清：有些改善可能来自 ensemble smoothing，有些来自选择了更合适的 k，有些来自 visualization 后验解释。

第三，高维聚类把问题部分转移到了簇数选择、unfolding 方式和特征聚合方式上。CSC 是顺序式的，第一步错误会传递；biclustering 假设 checkerboard-like co-activation，但 gaze 数据未必天然满足这种块结构。EMOd 上 CSC 与 biclustering 的不一致说明这一假设很脆弱。

第四，图像属性解释依赖 YOLO 检测和作者定义的 object categories。object-property-based clustering 看起来比 image-level color/intensity 更有信号，但这可能来自物体语义/尺度与 fixation 行为的混合效应，文中未充分做因果拆解。所谓 object properties 的贡献可能部分来自 detector coverage 和数据集内容分布。

Takeaway

• 最值得记住的不是某个具体 cluster，而是分析范式：在无标签 gaze EDA 中，用 co-association stability 替代单次聚类结果，比直接相信某个 scanpath distance 更稳。
• free-viewing gaze 的主要结构可能不在用户全局空间，而在 stimulus-conditioned user behavior；因此后续工作应更多考虑 conditional / co-clustering / tensor representations，而不是只做 user clustering。
• fixation statistics 足以暴露一部分 ambient/focal 或 erratic attention regime，但它不是完整行为表征。
• 真正值得推进的是把 saccade、AOI transition、object semantics 和 sequence-aware learned representation 合入同一个 joint clustering 框架。

一句话总结

这篇论文把自由观看 gaze clustering 从单维 scanpath/用户相似性分析推进到 consensus-stabilized 的 user-stimulus 交互结构发现，是一次方法组合驱动的 EDA 范式升级，而非新的聚类算法突破。