精读笔记
Problem Setting
这篇论文不是在做一个新的中文 LM 架构，而是在问一个更底层的表征问题：中文语言建模是否必须从离散 token ID 开始。实际问题是，在汉字这种视觉形态携带部件和语义线索的书写系统中，index embedding 可能把可共享的字形结构压扁成互不相关的查表向量，导致模型只能靠共现统计慢慢恢复结构。关键矛盾是：token ID 给出干净、稳定、可直接查表的身份信息，但它没有显式的子字符结构；glyph image 起步需要视觉识别和对齐，优化路径更长，却提供了连续、共享、二维组织的先验。以前 glyph 方法多作为辅助 embedding，pixel LM 多强调 tokenizer-free，而不是在同一个 decoder 下严格比较“输入模态本身”的价值。
Motivation
已有路线不够的地方在于默认 token identity 是语言建模的自然原子，只讨论如何增强它，而很少质疑这个原子化是否对中文合适。作者的核心观察是：汉字字符本身是定宽、高视觉密度、带部件结构的符号，和英文 subword 不同，它的视觉形态不是噪声，而可能是可泛化的统计结构。真正缺的是一个 controlled setting：让视觉输入和 index 输入共享同一 decoder、同一训练数据、同一目标函数，从而把性能差异尽量压到输入表征差异上。这个动机是成立的，尤其针对中文字符级建模；但它天然不等价于“所有语言都应视觉化”。
Core Idea
核心思想是把中文字符序列从一串离散索引改成一张有阅读顺序的二维 glyph image，让模型在视觉空间中先学习字符内部结构和跨字符空间上下文，再把结果作为 decoder 的输入 embedding。这里的本质不是 image encoder 替换 embedding table，而是把原本每个字符独立、无几何结构的 token lookup，改造成共享局部识别 + 二维上下文聚合的表征学习问题。
直觉上它可能有效，是因为汉字的笔画、偏旁、部件能提供比 one-hot ID 更平滑的归纳偏置：相似字符不再只是训练语料中偶然共现的邻居，而是在输入空间中已经接近；低频字符也可以通过共享部件获得表示支撑。和逐字符 glyph prior 相比，full image 的关键新增是跨位置的二维空间组织，允许 ViT 在整句图像上做 patch-level contextualization，而不是把每个字符当作互相独立的小图片。
Method
方法中真正必要的机制有三类。第一，完整序列渲染：它解决的是 prior 中视觉字符被孤立编码的问题，把字符间阅读顺序和邻域关系变成 encoder 可见的空间结构；这一步引入的是 layout-level inductive bias。第二，共享 patch encoder：它解决的是局部字形识别和参数复用问题，强制同一个字在不同位置由同一套视觉规则解释；no-shared ablation 变差说明位置特化不是优势，glyph recognition 的平移共享才是关键。第三，二维位置编码下的 ViT 聚合：它解决的是如何把局部笔画/部件特征转成语言预测相关的上下文表示；文中 ablation 显示仅有 2D-aware local features 不够，跨 patch attention 才把空间结构转化为 LM 信号。
辅助 patch-level/global loss 的作用更像 representation alignment：让视觉 encoder 在早期更快学会“这块图像是什么字”以及“整体对下一个字符有什么预测性”。它可能是优化稳定性的关键，但不是概念上最核心的贡献。quadratic curriculum 同样可能放大 vision 的 early sample-efficiency advantage；如果没有 full-data/no-curriculum 对照，早期优势中有多少来自 curriculum interaction 文中未充分说明。
Key Insight / Why It Works
我认为真正有效的不是“Transformer 可以吃图像”，而是中文 glyph image 提供了比 token ID 更好的 latent structure。Index embedding 把 3000 个字符初始化成无关系向量，模型必须从数据中学习哪些字共享偏旁、哪些字视觉/语义相近、哪些结构可迁移；vision pipeline 则把这些关系部分外包给输入空间和共享视觉 encoder。换句话说，这更像 better inductive bias + representation alignment，而不是 scaling、retrieval 或 test-time compute。
最核心贡献应归因于“整句二维 layout + ViT 2D positional aggregation”。ResNet-only 只有局部识别，不能把空间结构变成上下文语义；单字符视觉渲染 prior 只有 glyph prior，缺少 full-sequence spatial context；完整图像让 ViT 能在局部笔画、字符位置和上下文之间建立联合表征。这个机制在中文成立，是因为每个 patch 的视觉密度相对均匀，且一个字符就是一个语义较强的单位。
有几部分可能只是辅助甚至混杂。辅助分类头给 vision branch 提供了额外监督信号，虽然作者说主目标一致，但优化路径并不完全等价；这可能解释一部分早期收敛优势。curriculum 也可能让“能快速利用局部结构”的模型获得更明显领先。参数量接近不代表计算量接近，vision encoder 的额外计算是否换来了公平的效率收益，文中未充分说明。C-Eval 的提升不能过度解读：整体接近随机，小样本、多数 subject 题量很少，更像弱迁移信号，而不是知识能力证据。
Relation To Prior Work
最接近的谱系有三条：PIXEL/PIXAR 类 pixel-space LM，Glyce/ChineseBERT 类 glyph-enhanced Chinese NLP，以及作者前作的单字符视觉渲染。它和 glyph-enhanced 方法的本质差异是去掉 token ID 主通道，让视觉表征承担完整输入责任，而不是给 lookup embedding 加 side information。它和 PIXEL/PIXAR 的差异是研究对象更窄但控制更强：不是追求通用 tokenizer-free pretraining，而是在中文字符级 LM 中隔离输入表征的因果影响。
看似新的部分中，ResNet、ViT、auxiliary loss 都不是新思想；实质创新在于把 full-sequence glyph rendering 作为受控变量，并证明相对 index embedding 的优势需要空间一致性和二维 attention，而不是单纯“字形特征有用”。从技术谱系看，它更像 logographic-script-specific representation learning，而不是通用语言模型架构革命。
Dataset / Evaluation
evaluation 对核心 claim 的支持有强有弱。强的部分是 controlled next-character prediction：同一 decoder、同一 curriculum、多个 patch size、多个 decoder backbone、corruption 和 ablation 共同支撑“在该中文设置下，视觉输入优于 index 输入”。尤其 spatial layout 与 ViT 的解耦实验，是论文中最有解释力的证据。
弱的部分是外推。词表只有 3002 个中文字符，任务是字符级 next-token prediction，未覆盖现代大规模中文 LM 中的长文本、多粒度 tokenization、混合中英数字符号和真实预训练数据分布。C-Eval 只测六个 subject，样本极小且结果接近随机，不能证明下游 reasoning 或知识能力。英文实验是有价值的 negative control，但渲染策略本身对 subword 不公平，因此只能说明“这种 fixed-patch subword rendering 不适合英文”，不能终结 alphabetic script 的视觉建模可能性。
Limitation
方法成立依赖几个强前提：字符和 patch 一一对应、字符视觉密度均匀、字形内部结构携带可泛化语义、序列长度可被固定网格容纳。这些前提在中文常用字符级建模中近似成立，但在长上下文、开放词表、多字体、多字号、繁简混合、罕见字和真实文档噪声中会变弱。
scalability 上限不清楚。Embedding lookup 的成本几乎为零，而 vision branch 每步都要跑 patch encoder 和 ViT；即便参数量相近，训练/推理 FLOPs、显存和吞吐都不是同一量级。文中没有充分说明当数据规模和模型规模上去后，视觉先验是否仍能超过 index baseline，还是只在小数据/受限词表下提供 hot-start。
归因也没有完全闭合。Vision branch 有额外 auxiliary losses，且 full-image layout 本身可能让模型获得一种更强的局部平滑正则；这些都可能贡献增益。若给 index baseline 加 radical/stroke decomposition、相似字共享参数、glyph-derived initialization 或同等辅助监督，差距可能缩小。所谓 robustness 也主要是训练时 masking 后在 clean validation 上评估，更像 augmentation tolerance，不是严格的 inference-time corruption robustness。
Takeaway
- 第一，中文字符不应总被当作无结构 ID；字形是可计算的结构先验，尤其在小中规模和样本受限时可能比纯 embedding 更有效。
- 第二，glyph 的价值不只在单字局部特征，而在 full-sequence spatial organization 被 attention 利用后形成的上下文表征。
- 第三，未来更值得做的是 hybrid representation：保留 token ID 的稳定身份和低成本，同时引入可共享的 radical/stroke/glyph latent structure，而不是简单用图像完全替代 embedding。
- 第四，这篇论文推动的问题意识比具体架构更重要：不同书写系统的视觉/形态结构应进入 LM input design，而不是被 tokenizer 一刀切。
一句话总结
这篇论文是一次针对中文字符级 LM 的受控输入表征研究，真正贡献在于证明完整二维 glyph layout 加视觉上下文聚合能提供强于离散 token lookup 的 logographic inductive bias，但其结论更像书写系统特定的 representation reparameterization，而不是通用 tokenization 范式替代。