三值大模型(1.58-bit)将每个权重参数约束在 {-1, 0, +1} 三个值中,相比FP16可压缩约16倍显存,同时保留90%以上全精度模型能力。其核心技术路线如下:
量化函数:采用对称三值量化 Q(w) = round(w / Δ) 再裁剪至 [-1,0,1],其中尺度因子 Δ 按张量级动态计算。
训练中的梯度近似:由于量化函数不可导,使用直通估计器(STE)——前向走量化路径,反向传播直接绕过非线性的符号函数。
激活值精度补偿:权重为三值,但激活值保持FP16或INT8,避免信息坍缩。部分实现引入可学习的缩放因子,每通道独立校准。
混合精度矩阵乘:权重 {-1,0,+1} 与激活值相乘时,先按符号判断是否累加/跳过/减掉,可用位运算加速。推理吞吐量可达同等全精度模型的6倍以上。
端侧部署要点:需硬件支持低比特查表指令集(如ARM的SVE2、华为昇腾的CUBE单元)。未支持时,用移位与加法模拟三值运算,额外开销约15%。
该技术路线已在多个千亿级模型的端侧移植中得到验证,内存瓶颈从显存大小转向计算密度与带宽之间的平衡。
前往 DeepSeek 体验
消息来源:DeepSeek 官方公告 · 本站快讯组整理