本站已收录 510+ 篇 AI 实战秘籍 · 人工审核筛选 450+ 个 AI 网站 · 每周一、四更新 查看最新

自推测解码框架Cassandra:无需训练即可加速边缘端推理

大语言模型在推理阶段的解码开销一直是制约其部署到消费级设备的瓶颈。自推测解码通过先让一个轻量级草稿模型快速生成候选token,再用原始大模型并行验证,能够在不损失准确率的前提下加速推理。然而,现有方法在低批次处理场景下表现不佳,且往往需要额外训练才能获得良好的加速效果。hNY找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
hNY找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
Cassandra是一个算法与硬件协同设计的自推测解码框架,专为低批次场景优化。其核心创新在于通过细粒度数据选择构建高性能的草稿模型,无需任何额外训练。具体来说,Cassandra采用优化的剪枝技术和小数部分截断策略,识别出模型权重和键值缓存中最重要的数值,保留这些关键值的同时大幅降低数据精度,从而实现候选token的快速生成,随后再用全精度模型进行并行验证。hNY找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
hNY找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
该方法相比基于跳过某些层或结构化键值压缩的自推测解码方法具有显著更高的效率。为减少Cassandra表示格式与标准浮点格式之间的转换开销,研究团队还引入了一个轻量级编解码硬件模块,可无缝集成到商用GPU和NPU中。实验结果显示,在无需额外训练的情况下,Cassandra在BF16基准上实现了最高2.41倍的加速。在NVIDIA GeForce RTX 4090上运行LLaMA 3 8B模型时,相比当前最先进的Eagle-3推测解码方法,Cassandra在相同内存预算下可生成1.81倍的token数量。

前往 DeepSeek 体验 消息来源:DeepSeek 官方公告 · 本站快讯组整理