精读笔记
Problem Setting
论文标题：HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision（arXiv preprint / 2026）。
这篇论文真正处理的是 full-hand tactile representation learning 的评测与预训练问题，而不是直接解决 dexterous manipulation policy。作者承认触觉领域目前无法像视觉那样建立一个跨所有 sensor / embodiment 的 universal benchmark，因此将问题收缩到一个更现实的 regime：同步 egocentric RGB 与 full-hand tactile map。
真正困难点在于触觉表示没有稳定的“自然图像式”公共语义空间。触觉信号既稀疏又强接触依赖，同一个物体在不同手型、不同姿态、不同力控策略下产生完全不同的压力分布；反过来，相似接触图案也未必对应相同物体或动作。以前很多方法卡在 task-specific pipeline：在特定传感器、特定对象集、特定控制任务上有效，但很难判断 encoder 学到的是 transferable contact geometry，还是只学到了数据集/任务 shortcut。
本文的关键矛盾是：触觉 benchmark 需要标准化才能比较 representation，但触觉硬件和 embodiment 又天然不标准化。HT-Bench 的选择不是解决整个异构性，而是定义一个较窄但可扩展的坐标系：full-hand tactile map 提供统一空间结构，egocentric vision 提供交互上下文，task-level OOD 提供有限的泛化压力。
Motivation
已有路线不够的地方主要有三点。第一，单任务评估无法区分 tactile encoder 到底擅长重建、分类、对齐还是控制；一个在 grasp 成功率上有效的 encoder 可能只是适配了某种动作分布。第二，纯触觉自监督容易退化成局部纹理/压力模式建模，缺少与物体、手姿、动作上下文的对齐。第三，视觉-触觉数据虽然越来越多，但缺少一个专门针对 full-hand tactile representation 的多任务协议。
作者的核心观察是：egocentric vision 与 full-hand tactile 的配对，天然给了触觉学习一个 scalable supervision source。第一视角视觉并不能直接观测接触力，但能提供物体几何、手-物相对位置、场景先验；full-hand tactile 则提供视觉看不到的接触分布。二者同步后，触觉表示不必只从 tactile map 内部学习，而可以被跨模态预测和时间预测共同约束。
关键缺口不是“缺一个更强模型”，而是缺一个能问清楚 encoder 是否具备三种能力的实验框架：是否保留细粒度接触结构，是否能和视觉建立可用对应关系，是否能在未见交互任务上保持表示有效性。
Core Idea
论文的核心思想可以概括为：把 full-hand tactile observation 建模为一个可离散化、可补全、可预测的 contact state，而不是仅仅把它当作一张单通道压力图去回归。HandTouch 通过 VQ latent space 将连续压力分布投影为共享 token，再用 spatial reconstruction、cross-modal inpainting、temporal prediction 三类目标对这个 token space 施加约束。
这改变了触觉建模的信息流。普通 tactile encoder 多半是 tactile → embedding → downstream；HandTouch 则让 embedding 同时接受三种压力：它必须能重建当前触觉拓扑，必须能在触觉缺失时被视觉上下文条件化，必须能从历史交互中预测未来接触。这个设计引入的 inductive bias 是：有用的触觉表示应当是结构化的、视觉可索引的、时间连续的。
和 prior 的本质区别不在于使用了 VQ 或 masked modeling，这些都是已有范式；区别在于把它们放在 full-hand tactile + egocentric vision 的数据 regime 下，并把 benchmark 的 evaluation axes 与 pretraining objectives 强绑定。换句话说，这是一种 benchmark-driven representation design。
Method
方法层面只需要抓住几个机制。
第一，离散 tactile token space。它解决的是连续触觉图的高噪声、稀疏和局部变化问题。VQ bottleneck 强迫模型把压力图压缩为有限 contact pattern，从而减少纯像素回归的自由度。它带来的核心变化是将触觉表示从连续 sensor space 转为可复用的 latent contact vocabulary。但 codebook 是否具有可解释的 contact primitive，文中未充分说明。
第二，masked tactile inpainting。它解决的是 tactile representation 只学局部重建而不理解全手结构的问题。区域 mask 对应手指/手掌区域缺失，迫使模型利用相邻部位和全局拓扑推断接触；complete mask 则把任务推向视觉条件下的 tactile synthesis。核心变化是让视觉成为触觉 latent 的条件先验，而不是只在下游 late fusion。
第三，cross-modal conditioning。触觉 token 作为 query，视觉特征作为 key/value，本质上让 tactile decoder 从视觉场景中检索可能的接触分布。这里的“对齐”更像 conditional generation / imputation，而不是 CLIP-style semantic alignment。
第四，temporal prediction。它解决的是单帧触觉表示忽略接触演化的问题。短窗口历史 tactile + recent vision 被用于预测当前触觉，迫使 latent space 对接触动态有一定连续性。这个部分的证据相对弱，因为缺少强 temporal baseline，不能排除只是短期平滑/插值。
第五，hand-specific token。它解决左右手镜像和几何歧义，是 full-hand/bimanual setting 下必要但偏 engineering 的补丁，不应被视为核心创新。
Key Insight / Why It Works
最可能真正有效的原因有三个。
第一，训练目标和评测任务高度同构。HT-Bench 评估 retrieval、inpainting、RGB-to-tactile、future prediction；HandTouch 的三个训练阶段几乎分别对应这些能力。因此性能提升一部分来自 representation 质量，另一部分来自 objective-benchmark alignment。这个不是坏事，但需要承认它可能放大了相对优势。
第二，大规模 paired egocentric visuo-tactile data 是核心资产。10M RGB frames 和 7.8M tactile frames 的覆盖本身可能比模型设计更重要。尤其在 RGB-to-tactile synthesis 中，模型很可能学到的是场景/物体/手姿到平均接触模式的统计映射，而不是真正的物理推理。核心能力可能主要来自数据覆盖，而非架构上的质变。
第三，VQ bottleneck 对 tactile map 是合理 inductive bias。触觉压力图不是自然图像：有效区域稀疏，接触形态重复，局部压力模式具有组合性。离散 token 可以作为接触 pattern 的记忆库，提升 retrieval 和重建稳定性。但这也意味着模型可能偏向 memorized contact prototypes；所谓泛化在同一 embodiment 内可能成立，跨 embodiment 未必成立。
哪些部分可能只是辅助：cross-attention 是常规融合手段，hand token 是几何消歧补丁，codebook restart 是 VQ 训练稳定技巧，mask curriculum 是合理但不新颖的训练调度。真正值得保留的是“用多种缺失/预测任务迫使触觉 latent 同时对空间、视觉和时间可用”。
需要警惕的是 evaluation bias。fine-grained retrieval 的 reference ranking 由 SSIM 生成，这天然偏好保留像素结构的表示；inpainting 和 synthesis 又是重建型任务，偏好低层空间对齐。若一个表示更适合控制但不优化 pixel/contact-map reconstruction，可能在 HT-Bench 上被低估。因此 HT-Bench 更验证 contact-map representation quality，而不是完整的 manipulation usefulness。
Relation To Prior Work
这篇论文处在 tactile self-supervised learning、visuo-tactile representation learning、masked modeling / VQ representation learning 的交叉谱系上。最接近的路线包括 Sparsh/AnyTouch/OpenTouch/TouchAnything 这类触觉或视觉-触觉 benchmark，以及 masked visual-tactile pretraining、VQ-VAE-style tactile encoding。
看似新的部分里，VQ、ViT、masked inpainting、cross-attention、temporal prediction 都不是新机制；它们是已有视觉/多模态预训练思想在 full-hand tactile setting 下的重组。实质新增的信息有两个：第一，明确把 universal tactile benchmark 的目标降维为 egocentric + full-hand 这个可规模化 regime；第二，提出一个多任务评测协议，使 tactile representation 的结构、跨模态和时间能力可以被相对分开检查。
与 prior 的本质差异不是“模型更复杂”，而是 benchmark 视角更明确。已有很多工作要么追求跨传感器统一，要么追求某个下游 manipulation task；HT-Bench 更像是在同一 embodiment / sensor family 内建立一个 tactile foundation encoder 的 ImageNet-style proxy。但它还远不到真正 ImageNet，因为硬件和 embodiment 仍然强绑定。
Dataset / Evaluation
HT-Bench 的价值主要在规模和任务组织：多场景、真实世界、full-hand tactile、同步 egocentric RGB，并且有 task-level OOD split。这比单场景、单任务、单传感器评估更接近实际 dexterous interaction 的数据复杂度。
但 benchmark 是否完全支持作者的核心 claim，需要打折。它确实支持“在该 full-hand tactile + egocentric vision setting 下，HandTouch 比若干常见 encoder 更适合重建/检索/合成触觉图”。它不充分支持“general dexterous tactile representation”这个更大的说法，因为没有跨 sensor、跨 embodiment、跨机器人手型，也没有闭环控制实验。
OOD split 是 task-level，但任务之间可能共享场景、物体类别、手部动作模式和采集系统。若 OOD 只是 held-out interaction label，而视觉/接触分布仍与训练高度重叠，那么泛化结论会偏乐观。文中未充分说明 OOD overlap 的严格程度。
评估任务覆盖了 contact geometry、spatial completion、vision-touch alignment、short-term temporal prediction，但都偏离线表示层。缺少能证明这些 representation 在 grasp adjustment、slip recovery、force-aware manipulation 中带来收益的证据。因此它是一个好的 representation benchmark，不是 deployment benchmark。
Limitation
最核心限制是方法成立依赖一个强前提：触觉空间可以被固定 full-hand 2D map 表达，并且 egocentric RGB 与 tactile frame 精确同步、语义相关。这个前提在同一硬件平台上可行，但一旦换传感器布局、手型、触觉量纲或接触动力学，learned token space 可能不可复用。
第二，scalability 的上限在数据而不是模型。作者说该方向 scalable，但大规模同步 RGB-tactile 数据采集仍需要专用硬件、校准、维护和任务覆盖设计。相比纯视频或语言数据，这个成本高很多。方法把“触觉泛化难”部分转移成“采集足够覆盖的 paired data”。
第三，增益归因不清。没有充分 ablation 来区分 VQ、mask curriculum、complete masking、cross-attention、temporal stage、数据规模各自贡献。尤其 HandTouch 的训练目标与评测任务强对齐，可能导致它在 HT-Bench 上显著占优，但不一定说明其 latent representation 对未评估任务更通用。
第四，所谓 vision-to-tactile 更像条件统计生成，不是物理接触推理。单帧 RGB 无法确定接触力、隐含手指压力、摩擦和微滑状态；模型能预测的很大程度是 dataset prior 下的可能接触分布。若换控制策略或力控分布，预测可能失效。
第五，temporal modeling 的 claim 较弱。短窗口预测当前/近未来 tactile frame 很可能由历史 tactile 的局部连续性支撑，不代表形成长期状态估计或 contact dynamics model。没有和视频预测模型、sequence transformer、diffusion predictor 等强 baseline 对比，不能判断 temporal stage 的实际贡献。
第六，offline reconstruction 指标与控制价值不等价。低 RMSE / 高 cIoU 不一定对应更好的 slip detection、grasp correction 或 manipulation success；某些控制关键事件可能是局部微小变化，反而会被全图指标稀释。
Takeaway
- 1. 这篇真正推动的是 tactile representation evaluation 的组织方式：不要再只用一个下游任务判断 encoder，而要同时看结构保持、跨模态补全、时间预测和 OOD。
- 2. 对 full-hand tactile 来说，离散 latent + masked completion 是一个值得迁移的范式。
- 它把稀疏接触图转成可复用 contact token，比直接连续回归更适合作为 backbone。
- 3. Egocentric vision 是触觉学习的强条件先验，但它带来的能力应被理解为 grounded imputation，而不是完整物理推理。
一句话总结
HT-Bench/HandTouch 是一篇以 egocentric full-hand visuo-tactile 数据为中心、用多任务离线评测和递进式离散表示学习推进 tactile backbone 标准化的工作，其主要贡献更偏 benchmark 与 representation regime 选择，而不是单个模型机制的根本创新。