大语言模型上下文窗口扩容核心技术原理

一、核心瓶颈根源

标准 Transformer 原生自注意力复杂度是 O(n2)，序列越长计算量、显存占用爆炸，这是窗口扩不大的根本原因。

二、主流扩容核心技术原理

1. 稀疏注意力（Sparse Attention）

不让每个 token 和全部历史 token做注意力计算，只选关键局部 / 固定区块做注意力，把复杂度从 O(n2) 降到近 O(n)。代表：Longformer 滑动窗口注意力、GPT-NeoX 稀疏掩码。

2. 线性注意力（Linear Attention）

改写注意力计算公式，去掉 Softmax 全局依赖，用矩阵分解把自注意力转化为线性时序累加，可无限延展上下文。代表：Performer、RWKV 核心原理。

3. 旋转位置编码 RoPE 外推

原生位置编码超出训练长度就失效，RoPE 具备天然线性外推能力，不用重新全量训练，就能直接支持更长上下文，是现在大模型最常用低成本扩容方案。

4. 注意力分页 / 显存优化（PagedAttention）

把 KV 缓存像内存分页一样分块管理、复用、动态释放，减少冗余显存占用，在不改动模型结构前提下，大幅提升可承载上下文长度，LLaMA2、商用大模型普遍采用。

5. 检索增强上下文（RAG 外挂知识库）

模型本身窗口不硬扩，把超长文本做向量检索，只把相关片段送入当前上下文，变相实现 “无限上下文”，属于应用层扩容。

6. 分块拼接与窗口复用（Window Sliding）

把超长文本切分块，滑动窗口逐块推理、关键信息缓存复用，只保留关键历史语义，舍弃冗余内容，兼顾长度和推理速度。

三、一句话总结

本质三条路径：

1. 改注意力算法：把平方复杂度降为线性 / 稀疏；
2. 改位置编码：靠 RoPE 实现长度外推免重训；
3. 优化显存 + 外挂检索：从工程和应用层面变相拉满上下文窗口。