Google发布DiffusionGemma：离散扩散实现超高速文本生成
发布日期：2026-08-21
事件概述
2026年8月20日，Google发布DiffusionGemma技术报告。这是一款实验性开源权重语言模型，采用离散扩散（discrete diffusion）而非传统自回归方式生成文本。核心创新在于：以256 token为块并行迭代精炼，避免了逐token顺序解码的瓶颈，实现极高的生成速度。
核心要点
- 架构：基于Gemma 4 MoE（3.8B激活参数 / 25.2B总参数）微调
- 训练效率：仅使用不到原始AR模型10%的训练token预算
- 生成方式：256 token并行迭代精炼，非逐token顺序解码
- 社区反响：Hacker News获122赞，引发扩散模型文本生成潜力讨论
行业意义
自GPT以来，大语言模型几乎全部采用自回归"逐token预测"范式。DiffusionGemma证明了离散扩散路线在文本生成上的可行性——如果能成熟，有望大幅降低大模型推理的计算成本，对AI基础设施和推理优化领域具有深远意义。这类似于Stable Diffusion对图像生成的影响：从自回归到扩散的范式跃迁。