精读笔记
Problem Setting
[JuZhou 1.0 Technical Report: The First Edge-Native Text-to-Image Foundation Model Trained Entirely on China-Developed AI Accelerators]（arXiv preprint / 2026）
这篇论文实际处理的是端侧原生 T2I 的系统闭环：在手机上离线完成中文 prompt 到 1024 图像生成，同时保持可接受的视觉质量、组合性、延迟和内存占用。困难点不在于“能否训练一个小 diffusion”，而在于 T2I 的几个核心负担同时出现：文本语义理解需要强 encoder/LLM，denoising 需要多步采样，VAE 解码吃内存带宽，高分辨率生成需要足够容量，而手机端恰好限制这些资源。
以前路线通常只解决其中一块：MobileDiffusion / SnapGen 更偏结构和部署压缩，LCM / Lightning 更偏少步采样，中文 T2I 工作更偏语义对齐或云端服务。JuZhou 的关键矛盾是把这些约束放在同一个系统里：如果依赖云端翻译或大模型重写，就不再是真离线；如果只压 denoiser，不压 VAE 和采样步数，手机端仍然不可用；如果只做中文数据，不处理诗词到视觉关键词的语义鸿沟，中文原生能力会停留在宣传层面。
Motivation
作者的核心观察是：端侧 T2I 的瓶颈不是单点模型大小，而是训练时知识注入和推理时信息流没有分离。大模型可以在离线阶段用于生成数据、翻译、recaption、distillation，但端侧只能承受一个小而确定的 pipeline。因此需要把昂贵的语义展开和轨迹优化尽量前移到数据构造与蒸馏阶段。
已有路线缺的是三件事的组合：中文原生条件输入、真实手机端离线执行、以及完整训练/蒸馏栈在非 NVIDIA 国产加速器上的可运行性。这里的“缺口”更多是系统工程和产品约束驱动，而不是理论生成模型缺口。论文想证明的是：只要数据和蒸馏做得足够系统，小 U-Net + 小 VAE 也能覆盖一个实用的端侧 T2I 工作点。
Core Idea
核心思想是把 T2I 从“强模型在线生成”改写为“强 teacher 离线塑形 + 小模型在线执行”。具体来说，复杂的语言理解、诗词语义显式化、开放域视觉分布覆盖、少步采样轨迹，都在训练数据和蒸馏阶段被预先压入模型；端侧推理只保留一条短路径：prompt refiner / text encoder 给出紧凑条件，4-step U-Net 做 latent 更新，极小 VAE 解码。
这引入的 inductive bias 很明确：不追求通用大模型式的在线推理，而是假设目标分布可以通过 teacher-generated synthetic data 和 recaption 被充分展开；不让 denoiser 同时承担语言消歧和视觉生成，而是先把文本转成视觉关键词；不让移动端处理长 diffusion 轨迹，而是用 DMD2 把轨迹蒸馏成少数大步更新。与 prior 的本质区别不在某个 block，而在于它把端侧部署约束反向作用到数据、架构和采样过程的共同设计上。
Method
第一，数据侧做语义显式化。通用中文数据来自英文 prompt 生成图像后再翻译成中文，这避免了合成图像前的翻译漂移；诗词数据则通过 style augmentation、Qwen recaption 和过滤，把高度压缩的古典文本转成视觉实体/场景关键词。它解决的是中文和诗词输入的信息密度过高、视觉 grounding 不稳定的问题。
第二，模型侧做结构性减负。U-Net 保留多尺度卷积/Transformer 混合结构，但减少高分辨率 self-attention，把注意力预算放在更需要全局语义交互的阶段；VAE decoder 去掉 attention 并使用轻量卷积结构，直接攻击手机端高分辨率解码的内存瓶颈。核心变化是把表达能力集中在 denoising 主干，把 decoder 变成低成本局部重建器。
第三，采样侧做轨迹蒸馏。Rectified Flow 提供更直的生成路径，DMD2 把 28-step teacher 行为压到 4-step student。它解决的是 diffusion 推理步数与交互式延迟之间的矛盾，本质上是用训练时分布匹配换取测试时计算减少。
第四，部署侧按计算特性切分 runtime。Android 上 LLM/CLIP 走 CPU/MNN，U-Net/VAE 走 QNN/NPU；iOS 走 Core ML FP16。这个部分主要是工程必要性：不同模块的算子形态和内存访问模式不同，统一后端反而不是最优。
Key Insight / Why It Works
最可能真正有效的部分是“teacher-mediated data coverage + semantic recaption + few-step distillation”的组合，而不是轻量 U-Net 本身。小模型要在 0.4B 级别上维持 T2I 质量，必须依赖训练分布被强 teacher 充分整理：英文 DiffusionDB prompt 保留开放域视觉覆盖，SD3.5/Qwen-Image 生成高质量 synthetic target，Qwen3 把中文/诗词语义改写成视觉可学习形式。换句话说，模型能力很大程度上来自外部大模型和合成数据管线的压缩继承。
DMD2 的作用也很关键，因为端侧体验由步数主导。直接把 28-step base model 强行少步采样会崩，说明模型本身没有天然少步能力；4-step 能用主要是 distillation 学到了少步轨迹，而不是架构突然更强。这是典型的 test-time compute 转 training-time compute。
结构设计的贡献更像必要的工程约束下的 inductive bias：U-Net 相比 DiT 对小模型和移动端更友好，多尺度局部先验强；去掉高分辨率 self-attention 和压缩 VAE 可以显著降低内存/带宽压力。但这部分是否带来质量优势，文中未充分说明。它更可能是“让模型能跑”的贡献，而不是“让模型更懂语义”的贡献。
需要警惕的是，诗词结果的“理解”可能并不是模型学会了古典文学语义，而是 Qwen3 teacher 把诗词转换成现代视觉关键词后，小 diffusion 学会了这些关键词到图像的映射。这里的 reasoning 更像 representation alignment 和 teacher prior transfer，不是生成模型内部形成了文化语义推理。GenEval 高分也可能受训练数据分布、prompt 风格和 synthetic supervision 影响，增益来源不清。
Relation To Prior Work
JuZhou 位于三条路线的交叉处：MobileDiffusion/SnapGen 的移动端轻量 T2I，LCM/Lightning/DMD 系列的少步蒸馏，以及中文 T2I/Chinese-CLIP/LLM recaption 的语言对齐路线。它不是从算法上替代这些路线，而是把它们重组到一个端侧中文生成系统里。
和 MobileDiffusion/SnapGen 相比，JuZhou 的新增信息主要是中文原生数据和诗词应用闭环，以及更完整的 Android/iOS 真机部署证据；结构轻量化本身并非本质新。和 LCM/Lightning 相比，它使用 DMD2 服务于端侧 4-step 目标，但少步生成的思想不是新贡献。和中文 T2I 工作相比，它的差异在于不以云端大模型为默认部署形态，而是把中文对齐压进小模型和端侧 prompt refiner。
国产 K100 训练是论文的显著工程标签，但从研究机制看，它验证的是软件栈、算子和分布式训练适配能力，不改变 T2I 建模范式。真正有实质价值的是：作者展示了在非主流训练硬件、合成中文数据、端侧异构 runtime 共同约束下，一个可用 T2I 系统可以被做出来。
Dataset / Evaluation
数据覆盖上，通用 9M 数据主要是 DiffusionDB prompt + SD3.5 合成图像 + 中文翻译，覆盖开放域 prompt 风格但本质仍是 synthetic distribution。诗词 1.77M 数据则更强 in-domain，由 Qwen-Image 和 Qwen3 recaption 共同定义目标分布。这个数据设计适合训练端侧专用模型，但也意味着泛化 claim 应谨慎：模型可能主要学习 teacher 定义的视觉空间，而不是从真实世界图文对中获得鲁棒 grounding。
GenEval 验证了小模型在对象、属性、位置等组合性上的能力，能支持“0.4B 级模型不一定显著弱于大模型”的 claim。但它主要是英文/通用评测，不能直接证明中文诗词理解。诗词 benchmark 使用 CN-CLIP 和 in-domain FID，能说明模型贴合自建诗词分布，但 reference set 与训练构造管线同源，FID 更像 in-domain distribution matching，不是开放泛化证据。
真机评测是论文较强证据，尤其 Android 全链路延迟和内存报告比单纯 MACs 更有意义。不过 iOS 只验证 CLIP–U-Net–VAE，不包含 prompt refiner；Android 模型文件仍需一次性下载到本地，因此“离线”成立于安装后，而不是零网络依赖。整体 evaluation 支持“实用端侧原型可行”，但不足以精确归因“为何质量高”。
Limitation
最大限制是增益归因不清。文中未充分说明如果去掉 Qwen3 recaption、换掉 SD3.5/Qwen-Image 合成源、不用 DMD2、保留标准 VAE、或使用英文/中文不同 text encoder，性能分别会怎样。没有这些 ablation，很难判断 JuZhou 的高 GenEval 和诗词表现到底来自架构、数据、teacher、蒸馏还是评测分布匹配。
第二，中文能力可能被 prompt refinement 隐藏。端侧诗词 pipeline 先用 LoRA-tuned Qwen3-1.7B 把诗转换成视觉 prompt，这把最难的语言理解问题转移给小 LLM；diffusion 模型面对的可能不是原始诗词，而是已经显式化的视觉关键词。因此“原生中文理解”需要分层看：系统层面成立，denoiser 本身未必成立。
第三，scalability 上限明显。0.4B U-Net + 4-step distillation 对常见视觉组合足够，但数数、复杂关系、长文本、多主体一致性和文字生成很可能受容量和少步轨迹限制。论文也显示 Count 相对弱，这符合小模型容量受限的预期。
第四，合成数据闭环可能造成隐式 teacher imitation。模型可能继承 SD3.5/Qwen-Image 的偏好、失败模式和审美分布；在真实用户 prompt、非诗词中文、低资源文化意象、复杂抽象概念上，泛化是否存在文中未充分说明。
第五，国产训练栈是工程成就，但不是算法可迁移性的充分证据。它证明 K100 可以支撑这类训练，不证明这种硬件带来模型质量优势，也不证明其他任务能以同等代价复现。
Takeaway
- 第一，端侧 T2I 的关键不是单独压模型，而是把数据、语义接口、采样轨迹和 runtime 一起设计；只做 parameter reduction 很难得到真实可用系统。
- 第二，强 teacher 的离线监督会成为小端侧生成模型的主要能力来源。
- 未来端侧 foundation model 很可能不是从真实数据端到端学出所有能力，而是持续从大模型合成、recaption、distillation 中继承压缩能力。
- 第三，中文/诗词生成的有效路径不是让 diffusion 直接理解高度凝练文本，而是先构造一个视觉语义中间层。
一句话总结
JuZhou 1.0 更像一篇端侧中文 T2I 系统压缩与部署范式论文：它的主要贡献不是新的生成理论，而是把大模型合成监督、语义显式化、少步蒸馏和移动端异构执行组织成一个可落地的 0.4B 离线生成系统。