本站已收录 510+ 篇 AI 实战秘籍 · 人工审核筛选 450+ 个 AI 网站 · 每周一、四更新 查看最新

三值(1.58-bit)大模型:从量化算子到端侧部署的技术原理

三值大模型(1.58-bit)将每个权重参数约束在 {-1, 0, +1} 三个值中,相比FP16可压缩约16倍显存,同时保留90%以上全精度模型能力。其核心技术路线如下:X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
量化函数:采用对称三值量化 Q(w) = round(w / Δ) 再裁剪至 [-1,0,1],其中尺度因子 Δ 按张量级动态计算。X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
训练中的梯度近似:由于量化函数不可导,使用直通估计器(STE)——前向走量化路径,反向传播直接绕过非线性的符号函数。X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
激活值精度补偿:权重为三值,但激活值保持FP16或INT8,避免信息坍缩。部分实现引入可学习的缩放因子,每通道独立校准。X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
混合精度矩阵乘:权重 {-1,0,+1} 与激活值相乘时,先按符号判断是否累加/跳过/减掉,可用位运算加速。推理吞吐量可达同等全精度模型的6倍以上。X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
端侧部署要点:需硬件支持低比特查表指令集(如ARM的SVE2、华为昇腾的CUBE单元)。未支持时,用移位与加法模拟三值运算,额外开销约15%。X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
X79找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
该技术路线已在多个千亿级模型的端侧移植中得到验证,内存瓶颈从显存大小转向计算密度与带宽之间的平衡。

前往 DeepSeek 体验 消息来源:DeepSeek 官方公告 · 本站快讯组整理