本站已收录 510+ 篇 AI 实战秘籍 · 人工审核筛选 450+ 个 AI 网站 · 每周一、四更新 查看最新

推理阶段键值缓存压缩算法:面向超长上下文的多头潜在注意力

技术领域:长上下文推理 / 注意力机制vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
大模型处理超长序列(>100万tokens)时,键值缓存(KV Cache)占用的显存会超过模型权重本身。多头潜在注意力(MLA)及其衍生压缩算法是目前的主流解法:vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
核心思想:传统多头注意力的每个头都存储独立的K和V,产生 seq_len × num_heads × head_dim 的缓存。MLA对K和V做低秩分解:先压缩到一个低维潜在向量 c = W_down @ [K; V](维度从 d_model 降至 r,通常 r = d_model/8),再从潜在向量解压出各头的K、V。vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
推理流程:vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
每生成一个新token,只计算该token对应的 c_new。vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
将 c_new 追加到潜在向量的缓存中,缓存量仅为原方案的1/8。vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
从所有已缓存的 c 中动态恢复各头的K、V用于注意力计算。vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
实际压缩比:对于32头、head_dim=128的模型,原KV缓存大小为 seq × 32 × 128 × 2。MLA压缩后为 seq × (d_model/8),以d_model=4096为例,压缩比达到 (32×128×2) / (4096/8) = 8192 / 512 = 16倍。vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
注意力误差:由于压缩与解压均为线性投影,恢复后的K、V与原始的余弦相似度可保持在0.98以上。长序列任务(如文档问答)的准确率损失小于2%。vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
硬件友好:压缩后的缓存是连续的向量序列,访存模式规整,在GPU上可实现更高的带宽利用率。vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
vWU找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
该技术是如今百万级上下文窗口模型能够落地推理的核心工程突破。

前往 DeepSeek 体验 消息来源:DeepSeek 官方公告 · 本站快讯组整理