大语言模型上下文窗口扩容核心技术原理
一、核心瓶颈根源
标准 Transformer 原生
自注意力复杂度是 O(n2)，序列越长计算量、显存占用爆炸，这是窗口扩不大的根本原因。
二、主流扩容核心技术原理
1. 稀疏注意力（Sparse Attention）
不让每个 token 和
全部历史 token做注意力计算，只选关键局部 / 固定区块做注意力，把复杂度从 O(n2) 降到近 O(n)。代表：Longformer 滑动窗口注意力、GPT-NeoX 稀疏掩码。
2. 线性注意力（Linear Attention）
改写注意力计算公式，
去掉 Softmax 全局依赖，用矩阵分解把自注意力转化为线性时序累加，可无限延展上下文。代表：Performer、RWKV 核心原理。
3. 旋转位置编码 RoPE 外推
原生位置编码超出训练长度就失效，
RoPE 具备天然线性外推能力，不用重新全量训练，就能直接支持更长上下文，是现在大模型最常用低成本扩容方案。
4. 注意力分页 / 显存优化（PagedAttention）
把 KV 缓存像内存分页一样
分块管理、复用、动态释放，减少冗余显存占用，在不改动模型结构前提下，大幅提升可承载上下文长度，LLaMA2、商用大模型普遍采用。
5. 检索增强上下文（RAG 外挂知识库）
模型本身窗口不硬扩，
把超长文本做向量检索，只把相关片段送入当前上下文，变相实现 “无限上下文”，属于应用层扩容。
6. 分块拼接与窗口复用（Window Sliding）
把超长文本切分块，
滑动窗口逐块推理、关键信息缓存复用，只保留关键历史语义，舍弃冗余内容，兼顾长度和推理速度。
三、一句话总结
本质三条路径：
- 改注意力算法：把平方复杂度降为线性 / 稀疏；
- 改位置编码：靠 RoPE 实现长度外推免重训；
- 优化显存 + 外挂检索：从工程和应用层面变相拉满上下文窗口。
相关