精读笔记

Problem Setting

[Handwriting Trajectory Recovery with Diffusion Models]（arXiv preprint / 2026）

这篇论文实际解决的是复杂多笔画字符的 offline-to-online conversion：给定最终墨迹图像，恢复一条时间有序、带 pen-up / EOS 状态的书写轨迹。真正难点不是坐标回归，而是从静态拓扑中恢复不可见的动态过程；交叉点、重叠笔画、局部闭环和笔画连接都会产生多个合理解释。

以前方法卡在两个地方：结构化方法把问题转成 skeleton / sub-stroke extraction，但复杂汉字里这些中间表示本身就不稳定；自回归 encoder-decoder 方法虽然绕开显式分解，却容易在长序列中累积错误，最后轨迹脱离图像墨迹。这个任务的关键矛盾是，图像强约束几何形状，却弱约束时间顺序；模型必须在“贴住墨迹”和“选择合理书写过程”之间联合决策。

Motivation

作者的动机不是简单把 diffusion 套到序列生成上，而是指出 stroke recovery 需要一种全局、可迭代修正的条件生成机制。已有方法缺少两类能力：一是生成时看见整条轨迹状态，而不是只依赖已生成前缀；二是在生成过程中持续访问空间图像证据，而不是把图像压缩成一次性 latent。

核心观察是：轨迹恢复天然是条件分布建模，而不是 deterministic mapping。同一图像可以对应多个笔顺，单次回归会倾向平均化或被训练集主模态支配；自回归会把早期不确定性硬编码进后续。diffusion 提供了一个更合适的框架：从全局噪声状态逐步收敛到图像一致的轨迹，每一步都可以重新利用完整上下文。

Core Idea

论文真正的核心思想是把 pen trajectory 当作 1D continuous generative object，并用离线图像作为条件来引导整条序列的 denoising。它改变了建模方式：不是从图像直接预测一个确定序列，也不是逐点生成，而是在轨迹空间中学习 p(X|I)，通过多步 refinement 找到一条与图像一致且符合书写先验的路径。

这个设计引入的 inductive bias 是“全局序列修正 + 空间证据对齐”。全局修正缓解了长轨迹自回归误差累积；空间对齐缓解了 latent bottleneck 导致的 glyph drift。和 prior 的本质区别不在于 U-Net 或 attention，而在于信息流被重新组织：轨迹 token 在多个噪声层级反复查询图像 feature map，从而把 recovery 从单向 decoding 变成条件优化/采样过程。

Method

方法层面最关键的是三项机制。

第一，轨迹被建模为固定长度连续张量，包含坐标、pen-up 与 EOS。这样 diffusion 可以统一处理坐标和状态变量，但代价是离散笔画拓扑没有被显式建模，而是隐式交给网络和数据分布学习。

第二，denoiser 是沿时间轴工作的 1D U-Net。它解决的是长序列生成中的局部连续性和全局依赖问题：卷积提供轨迹平滑和局部运动先验，attention 提供跨笔画依赖；更重要的是它每一步输出整条轨迹的修正，而不是下一个点。

第三，多尺度 image conditioning 是防止漂移的关键。全局向量会丢失局部墨迹位置，单一细尺度又容易缺少整体布局；多尺度 cross-attention 让轨迹 token 同时获得粗布局和细几何证据。这里的本质变化是 conditioning 从“语义条件”变成“空间约束”。

Key Insight / Why It Works

最可能的核心贡献是把 recovery 从自回归路径生成改成全局条件 denoising。对于复杂汉字，错误往往不是某个点的局部噪声，而是整个后续路径进入错误区域；自回归一旦偏离墨迹，很难回头。diffusion 的优势在这里不是生成多样性本身，而是 test-time iterative compute：它可以在多个去噪步骤中逐渐把轨迹拉回图像支持区域。

第二个有效因素是 representation alignment。图像和轨迹的模态差异很大，但二者共享空间坐标结构；多尺度 cross-attention 让轨迹 token 查询图像空间 token，相当于显式建立“当前轨迹片段应该贴向哪个 ink region”的软对应。这比 Cross-VAE 的 shared latent 更可靠，因为后者容易把几何细节压掉。

不过增益不应全部归因于 diffusion。训练类别从少到多带来的提升说明 data coverage 很关键；汉字部件复用使模型可以 memory reuse radicals 和常见笔画模式。所谓 general writing tendency 很可能是大规模数据中的统计 prior，而不是明确的 planner。跨 Latin 的结果说明模型学到了一些方向性 bias，但 O/Q 方向错误也暴露出它主要继承训练脚本的书写习惯。

多尺度条件是实质辅助，但不是全部。文中显示 1/8 单尺度已经接近最终性能，multi-scale 的边际提升相对有限；因此主要突破可能来自“空间 feature conditioning + 非自回归 diffusion”，而非复杂的多尺度设计本身。文中未充分说明模型容量、训练步数、采样步数与 baseline reimplementation 之间是否完全公平。

Relation To Prior Work

这篇工作最接近 PEN-Net、Cross-VAE 以及非自回归条件序列生成路线。相对 PEN-Net，真正差异是从 autoregressive tracing 转向全局 denoising；这直接改变了错误传播机制。相对 Cross-VAE，差异是不用 shared global latent 作为跨模态桥，而是用图像 feature map 在生成过程中持续约束轨迹。

和 skeleton / sub-stroke ordering 方法相比，它不再显式构造中间拓扑，因此避免了复杂字符中最脆弱的预处理步骤。但这也意味着拓扑解释性下降，笔画边界、连接关系和 stroke count 都变成隐变量。

看似新的部分里，diffusion for 1D sequence 和 cross-attention conditioning 都不是新思想；实质创新在于把它们放到 stroke recovery 这个强几何约束、强时间歧义的任务里，并证明比自回归/latent conversion 更合适。技术谱系上，它更像 conditional generative reconstruction，而不是传统 handwriting parsing。

Dataset / Evaluation

评估主要在 CASIA-OLHWDB 上进行，离线图像由在线轨迹渲染得到。这个设置适合验证 controlled offline-to-online recovery，但离真实离线扫描手写还有距离：真实图像会有笔压、墨水扩散、扫描噪声、局部断裂、背景干扰和非均匀 stroke width，而论文只做了有限的 stroke width 与 masking robustness。

seen / unseen 汉字类别的划分能测试类级泛化，且 writer-disjoint 避免了最直接的 writer leakage。结果支持“模型没有只记住训练字符类别”，但不能完全排除 radical / component overlap 带来的隐式记忆。汉字 Level-1 字符之间共享结构极强，unseen class 并不等于 out-of-distribution。

DTW/LDTW 和 AIoU 基本覆盖了时间对齐与形状保真，但二者仍有局限。DTW 同时受几何漂移和笔顺错误影响，不能纯粹衡量 stroke-order correctness；AIoU 只看 rasterized shape，无法区分正确笔顺和错误笔顺。因而 benchmark 支持“更贴图像、时间上更接近 recorded trajectory”，但不足以证明模型真正恢复了唯一真实书写过程。

Limitation

最大的隐含前提是训练/测试图像来自同一在线轨迹渲染协议。模型看到的是干净、均匀、64×64 的合成离线图，而不是真实离线手写；因此部署到扫描文档或自然采集图像时，domain gap 可能比论文呈现的大得多。

第二，方法 heavily rely on paired online-offline data。没有大量在线轨迹监督时，diffusion 本身不能凭空学到笔顺；它学到的是数据集中 writer population 的统计书写习惯。所谓泛化可能主要来自数据覆盖、部件复用和常见笔画模式的 memory reuse，而不是抽象规则推理。

第三，计算上限明显。1000-step DDPM sampler 对一个 recovery 任务来说很重；如果未来用 fewer-step sampler 或 flow matching，是否保持同样的几何精度仍需验证。

第四，增益归因不清。baseline 是 reimplementation，且 diffusion 模型可能有更高容量、更长训练和更强 test-time compute；文中未充分说明这些因素与建模范式之间的贡献拆分。

第五，多模态性没有被认真评估。既然任务本质上多解，理应分析多次采样是否产生多个合理笔顺，以及这些样本如何覆盖真实书写变体。论文主要报告 single recovery quality，因此它更像学习条件 MAP / dominant mode，而不是完整建模 p(X|I)。

Takeaway

• 1. 对这类“静态观测 → 动态过程”的逆问题，非自回归的全局生成比逐步解码更自然；核心不是 diffusion 名义，而是 iterative global correction。
• 2. 空间条件不能被压成 global latent。
• 只要输出需要严格贴合输入几何，conditioning 就应该保留 feature map，并让生成 token 与空间证据反复对齐。
• 3. 汉字 trajectory recovery 的泛化很大程度来自部件级复用；未来真正有价值的是 disentangle 形状贴合、笔顺先验、writer habit 和 script convention，而不是只提高 benchmark 数字。

一句话总结

这篇论文把复杂手写轨迹恢复从自回归/latent 转换推进到图像条件的全局扩散式重建，真正贡献在于用 iterative denoising 和空间多尺度条件缓解长序列漂移，但其能力边界仍强依赖渲染式数据覆盖和统计书写先验。