蚂蚁技术研究院正式发布 LLaDA2.0 系列离散扩散大语言模型,包含 16B 及 100B 两个版本,首次将 Diffusion 模型规模拓展至千亿级参数。该模型通过创新预训练策略无缝继承现有知识,不仅生成质量优异,推理速度更达同级自回归模型的 2.1 倍。评测显示,LLaDA2.0 在代码、数学等结构化任务中表现卓越,证明扩散模型在大规模参数下兼具高性能与高效率。
暂无讨论,说说你的看法吧
蚂蚁技术研究院正式发布 LLaDA2.0 系列离散扩散大语言模型,包含 16B 及 100B 两个版本,首次将 Diffusion 模型规模拓展至千亿级参数。该模型通过创新预训练策略无缝继承现有知识,不仅生成质量优异,推理速度更达同级自回归模型的 2.1 倍。评测显示,LLaDA2.0 在代码、数学等结构化任务中表现卓越,证明扩散模型在大规模参数下兼具高性能与高效率。
之前