大模型处理长文本时,依赖一种叫做“注意力机制”的核心技术。当模型处理某个词时,它会同时扫视文本中所有其他的词,判断哪些词最相关,然后把注意力集中在最重要的部分。但这种机制有一个严重的代价:文本越长,扫视的范围就越大,计算量会以平方的速度增长。
为了应对这个问题,“分块预填充”技术把长文本切成固定大小的片段,一块一块地处理。但随着处理的块数增多,存储已处理内容的“工作记忆”越来越大,每次处理新块时需要“回头看”所有历史内容的计算代价也越来越高。研究人员早就想到利用“稀疏注意力”技术跳过工作记忆中的大部分不相关内容,然而将其直接用在分块预填充场景下却遇到了两个棘手的问题。
首尔大学研究团队提出的CompactAttention正是针对这个问题给出的解决方案。其核心目标是在不牺牲AI回答质量的前提下,让分块处理长文本时的注意力计算速度尽可能快、尽可能省力。在LLaMA-3.1-8B-Instruct模型上,该技术将处理128K长度文本时的注意力计算速度提升了2.72倍,同时保持了与原始模型几乎相同的回答准确率。
前往 DeepSeek 体验
消息来源:DeepSeek 官方公告 · 本站快讯组整理