本站已收录 510+ 篇 AI 实战秘籍 · 人工审核筛选 450+ 个 AI 网站 · 每周一、四更新 查看最新

三模式大语言模型:在自回归、扩散与自推测解码之间统一切换

传统大语言模型主要采用自回归解码方式,逐字从左到右生成文本。这种模式准确率高,但在低并发场景下严重受限于内存带宽——每生成一个token都需要将海量模型权重从高带宽内存移动到缓存,GPU算力常常无法被充分利用。与之相对,扩散模型能够并行生成多个token,但由于训练时平等对待所有token位置,缺乏自回归模型天然的从左到右语言先验,生成质量一直落后。dYA找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
dYA找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
英伟达提出的三模式大语言模型打破了这两种范式之间的隔阂。该模型在训练时同时优化自回归损失和扩散损失,采用两阶段训练策略,并引入全局损失平均技术,大幅降低了扩散模型训练中因随机掩码导致的梯度激增问题。训练完成后,模型在推理时无需修改架构或添加额外参数,只需简单更改注意力模式和掩码,即可在三种解码模式之间任意切换。dYA找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
dYA找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
自回归模式下,模型保留完整的因果注意力机制,逐字生成,适合高并发、计算密集型的云端服务场景。扩散模式下,模型采用分块去噪策略,利用双流注意力机制在块内进行大规模并行token生成,token吞吐量最多可提升4倍。自推测解码模式则融合了两者优势:模型先利用自身的扩散模式并行起草多个候选token,再在自回归模式下使用相同的键值缓存对它们进行验证,既获得了扩散模型的并行生成速度,又保留了自回归模型的严格准确性。这一方法相比传统的Eagle或MTP方法具有更高的接受率,且无需额外权重即可获得更高的推理效率。

前往 DeepSeek 体验 消息来源:DeepSeek 官方公告 · 本站快讯组整理