蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0

蚂蚁技术研究院正式发布 llada2.0 系列离散扩散大语言模型（dllm），并同步公开其核心技术报告，称其为“业界首个达到 100b 参数规模的扩散式语言模型”。

LLaDA2.0 包含基于 MoE 架构的两个版本：16B（mini）与 100B（flash），首次将扩散语言模型的参数量级推进至百亿级别。官方表示，该成果不仅颠覆了业界对扩散模型难以规模化扩展的传统认知，更在代码生成、数学推理及智能体任务等关键场景中，展现出优于同参数量级自回归（AR）模型的实际性能。

依托原创的 Warmup-Stable-Decay（WSD）持续预训练范式，LLaDA2.0 可高效复用已有 AR 模型的知识体系，显著降低从零训练带来的资源消耗。进一步融合置信度感知并行训练（CAP）——一种超越常规监督微调（SFT）的方法，以及面向扩散架构优化的 DPO 变体，模型在保障输出质量的前提下，充分发挥扩散模型天然支持并行解码的特性，实现相较典型 AR 模型高达 2.1 倍的推理速度提升。这标志着：在超大规模参数条件下，扩散语言模型不仅具备工程可行性，更兼具更强能力与更高效率。

蚂蚁技术研究院围绕知识理解、数学能力、编程水平、逻辑推理及智能体行为等多个核心维度展开系统性评测。结果表明，LLaDA2.0 在结构化文本生成任务（如代码编写）中优势突出；而在其他通用能力维度上，亦可与当前主流开源 AR 模型保持相当水准。

标签： git github ai