技术领域:长上下文推理 / 注意力机制
大模型处理超长序列(>100万tokens)时,键值缓存(KV Cache)占用的显存会超过模型权重本身。多头潜在注意力(MLA)及其衍生压缩算法是目前的主流解法:
核心思想:传统多头注意力的每个头都存储独立的K和V,产生 seq_len × num_heads × head_dim 的缓存。MLA对K和V做低秩分解:先压缩到一个低维潜在向量 c = W_down @ [K; V](维度从 d_model 降至 r,通常 r = d_model/8),再从潜在向量解压出各头的K、V。
推理流程:
每生成一个新token,只计算该token对应的 c_new。
将 c_new 追加到潜在向量的缓存中,缓存量仅为原方案的1/8。
从所有已缓存的 c 中动态恢复各头的K、V用于注意力计算。
实际压缩比:对于32头、head_dim=128的模型,原KV缓存大小为 seq × 32 × 128 × 2。MLA压缩后为 seq × (d_model/8),以d_model=4096为例,压缩比达到 (32×128×2) / (4096/8) = 8192 / 512 = 16倍。
注意力误差:由于压缩与解压均为线性投影,恢复后的K、V与原始的余弦相似度可保持在0.98以上。长序列任务(如文档问答)的准确率损失小于2%。
硬件友好:压缩后的缓存是连续的向量序列,访存模式规整,在GPU上可实现更高的带宽利用率。
该技术是如今百万级上下文窗口模型能够落地推理的核心工程突破。
前往 DeepSeek 体验
消息来源:DeepSeek 官方公告 · 本站快讯组整理