传统Transformer模型采用密集计算架构,所有参数在每个输入token处理时均被激活。这种设计在处理知识密集型任务时面临一个根本问题:检索特定知识需要在多层注意力机制中逐步聚焦,相当于用动态计算来模拟本应非常简单的静态查找操作,消耗了模型40%以上的计算资源。
Engram模块创新性地提出了“条件内存”机制,将知识检索从动态计算中解耦出来。其核心是构建一个独立的静态知识存储层——内存池,占用参数总量的20%至25%,剩余参数仍维持原有的动态计算能力。当模型需要检索某个知识时,通过哈希映射直接计算内存索引,实现O(1)复杂度的直接内存访问,不再依赖注意力机制的逐层聚焦。
在具体实现上,Engram采用多头哈希映射来保证内存访问的准确性:使用多个独立的哈希函数生成多个索引候选,再通过多数投票确定最终索引,将哈希冲突率从单头方案的15%降至3%以下。上下文感知门控模块则动态调制内存输出与当前状态的相关性,确保检索到的知识能够与当前的计算上下文有效融合。这种内存稀疏化与计算稀疏化协同设计的混合策略,在27B参数规模下相比纯MoE模型在MMLU基准测试中提升3.4%,在代码生成任务HumanEval中提升3.0%。
前往 DeepSeek 体验
消息来源:DeepSeek 官方公告 · 本站快讯组整理