Prefrontal AI 与 ETH Zurich 提出 LSA 方法,千万 token 下比 DeepSeek 式稀疏注意力再快 22.7 倍
千万token下,比DeepSeek式稀疏注意力再快22倍
- 1Prefrontal AI 与 ETH Zurich 联合发布 LSA 论文,把稀疏注意力的索引开销从二次方降到 O(T log T)
- 210M token 下 GLM-5.3-Flash 单注意力层 prefill 提速 22.7 倍,Qwen3.8-27B 提速 72.4 倍(论文口径)
- 3精度上 D-LSA 在多项基准落在基线 95% 置信区间内,RULER 10M 时 Qwen 加 D-LSA 以 63.9 分反超全注意力 59.9 分
- 4代码开源并整合进 SGLang,10M token 实测 Qwen3.8-27B 首 token 时间从约 76 分钟降到约 8 分钟(论文口径)
千万 token 量级的推理瓶颈不在算注意力本身,而在挑选 token 的索引器,LSA 把这一环降到次二次方复杂度。
- 影响:对跑长文档分析或长程 Agent 任务的企业,千万 token 的 prefill 时长与算力开销存在数量级压缩的路径;方法已开源并整合进 SGLang,能否兑现取决于推理框架与模型厂商的集成进度。
- 参考:可考虑先盘点自有场景中上下文超过百万 token 的占比与当前 TTFT 账单,估算收益空间;值得在测试环境用开源实现和 SGLang 部署跑一组基线对比,再决定是否用于长程 Agent 或全量文档处理试点。
- 依据:22.7 倍、72.4 倍加速与首 token 时间从约 76 分钟降到约 8 分钟均为论文团队自测数据,尚无独立第三方验证,精度对比同样出自论文。
如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 query 不再看遍所有历史 token,只挑出少数最相关的去「看」。
这条路线在 1M 量级上已经被反复验证。可当上下文继续往 1000 万 token 推进时,一笔原本不起眼的开销开始失控。以 GLM-5.3-Flash 的一个全局注意力层为例,在 10M token 下做 prefill,98% 的时间并没有花在注意力计算上,而是花在决定「该看哪些 token」的索引器上。
问题的性质因此变了。稀疏注意力早已证明「只看一小部分」足以保住精度,真正卡住超长上下文的是「找到那一小部分」依然会随上下文长度二次方增长。
现在,伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)联合发布论文,提出了一种名为Latent Sparse Attention(LSA,隐空间稀疏注意力)的新方法。
它在 10M token 下把 GLM-5.3-Flash 单个注意力层的 prefill 提速22.7 倍,把 Qwen3.8-27B 的提速72.4 倍,同时在一系列任务上保持了与原模型相近的精度。
- 论文标题:Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
- 论文地址:https://arxiv.org/abs/2610.42147
- 代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention
稀疏注意力的「隐形账单」
先回顾一下注意力的成本结构。在标准的全注意力里,每个 query 都要和之前所有的 key 计算一遍相关性,上下文长度为 T 时,prefill 的计算量是 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就要涨 100 倍。
稀疏注意力的思路是分工:先由一个轻量的「索引器」(indexer)为每个 query 挑出 k 个最相关的 key,再让真正的注意力只在这 k 个 key 上计算。这样注意力本身的开销被压到了 O(Tk)。
这个思路成立有个前提:模型确实只需要很少的 key。论文附录专门做了验证:在 128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在 RULER 长上下文基准上仍能保留全注意力 98% 的精度。
但这里藏着一个悖论。索引器要想知道哪 512 个 key 最相关,就得先给每一个 key 打分。DeepSeek 的 DSA、MiniMax 的稀疏注意力,以及 GLM-5.3-Flash、Qwen 等模型采用的块稀疏方案,各自用了降低精度、减少维度、把 4 个 key 压成 1 个等办法给索引器「减负」,但这些改进只是把常数项除以了几倍,索引器的工作量依然随上下文线性增长,prefill 依然是二次方。
打个比方:你要从一座藏书千万册的图书馆里借 4096 本书,借书本身很快,麻烦的是为了确定借哪 4096 本,你得把每一本书的书脊都看一遍。书越多,看书脊的时间就越占大头。论文测算,在 10M token 下,如果索引器的开销能降为零,稀疏注意力的 prefill 还能再快 58 倍。
超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。
不按时间排,按语义排
LSA 的解法,是让索引器不再逐个检查 key,而是去检查「key 的分组」。
D-LSA 与 N-LSA 总览。上:一个注意力层中,key 先被池化并聚类成桶,query 只给桶中心打分,再只看被选中的远程 key(外加 sink 与滑动窗口);下:两种变体的精度与加速。
关键在于怎么分组。现有的块稀疏方法大多按位置分组,把相邻的几个 key 打成一个块。这相当于图书馆按入库时间把书装箱,每箱贴一张摘要。问题在于,一箱里只要有一本关键的书,就可能被其余几本无关书目的摘要「淹没」。
LSA 选择按内容分组。它先把 key 投影到一个经过学习的低维隐空间(latent space)里,再在这个空间中用层次聚类(Ward 方法)把语义相近的 key 归入同一个「桶」(bucket),每个桶只保留一个中心向量和一张记录桶内 key 位置的索引表。查询时,query 只需要和桶的中心向量打分,选出最相关的若干个桶,再把桶「展开」成具体的 key,凑满 k 个送进注意力。
回到图书馆的比方:书不再按入库日期装箱,而是按主题上架。要找关于量子纠错的书,直接走到那一排书架就行,同一主题的书可能是十年间陆续入库的,但它们挨在一起。
这一步的收益是常数级的,论文把它称为 Flat(扁平)搜索。真正改变复杂度的是 Tree(树)变体:桶之上再聚成更大的「节点桶」,层层向上形成一棵层次树。query 从树顶出发,每一层只保留得分最高的若干分支往下走(束搜索)。就像先选楼层、再选区域、再选书架,每个 query 只需检查 O(log T) 个中心向量,索引器的 prefill 从二次方降到了O(T log T),这也是论文标题中「次二次方」(subquadratic)的由来。
D-LSA 设计。左为 Flat 搜索:key 经投影、池化、聚类后存入桶缓存,query 给桶中心打分并展开为 top-k 索引;右为 Tree 搜索:桶被组织成多层层次结构,query 用束搜索逐层下探。
两种用法:嫁接进已有模型,或者从头长出来
LSA 提供了两种落地方式。
第一种是D-LSA(Distilled-LSA),面向已经训练好的模型。它冻结原模型的全部参数,每层只新增两个小投影矩阵,把 key 和 query 投到 64 维的索引空间,再通过蒸馏让 LSA 的打分去逼近原模型注意力的分布。整个蒸馏只用了 3.52 亿 token,作为参照,DeepSeek DSA 仅索引器的稠密预热阶段就用了 21 亿 token。论文还给出了一个完全免训练的版本,直接用 key 的主成分方向充当投影,在 Qwen3.8-27B 上与训练版本精度接近。
第二种是N-LSA(Native-LSA),在预训练时就原生使用 LSA,只靠标准的下一 token 预测损失训练。它直接对注意力自己的 key 做聚类,不需要额外的索引投影、不需要教师模型,也不需要辅助损失,模型参数量一个不增。
N-LSA 设计。注意力层直接对自身的 key 聚类,可仅靠下一 token 预测损失从头训练。
工程层面,团队为聚类、打分、选择和展开写了面向 H200 和 B300 的 GPU kernel(另有可在任意 GPU 上运行的 Triton 版本),并把 LSA 整合进了 SGLang,支持张量并行、专家并行、流水线并行,以及 prefill 和 decode 阶段的上下文并行。
1000 万 token 下的成绩单
先看精度。团队在 Qwen3.8-27B(其注意力层为全注意力)和 GLM-5.3-Flash(自带稀疏注意力)两个模型上测试 D-LSA,并把上下文推到 10M token,远超两者官方给出的 1M 上限。在 MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2 等知识、推理和长上下文任务上,D-LSA 都落在基线的 95% 置信区间内,也没有明显改变模型的推理长度。
在 4k 到 10M token 的 RULER 上,Qwen3.8-27B 加 D-LSA 在 1M 以内与全注意力的差距不超过 5 分,到了 10M 反而以 63.9 比 59.9 反超。GLM-5.3-Flash 加 D-LSA 在 1M 以内与原生稀疏注意力相差 3 分以内,2M 到 5M 区间最多落后 8 分,10M 时差距回到 4 分以内。需要说明的是,GLM 的基线稀疏注意力是与模型一起训练的,而 D-LSA 只是在冻结模型上做了蒸馏,这个比较本身对基线有利。
为了在更真实的场景中检验超长上下文能力,团队还构建了一个新基准PaperTrail。
它把一条条虚构的「研究线索」嵌进大量真实的 2026 年 arXiv 论文中:一篇虚构论文提出某个结果,若干真实论文中被插入引用它的段落,几周后另一篇虚构论文修正数值并给方法改名,而部分后续论文仍在引用旧值,就像真实的学术文献一样。模型需要像做文献综述那样找到并串联这些事实,10M 规模的样本包含近 400 到 465 篇论文。在这个基准上,Qwen3.8-27B 加 D-LSA 在 10M token 下得分 29.1,全注意力为 19.8。
D-LSA 在知识、推理与长上下文任务(最长 10M token)上的精度,与全注意力及稀疏注意力基线相当。
再看速度,这也是这项工作最醒目的部分。在 10M token 下,单个注意力层的 prefill,D-LSA 比 GLM-5.3-Flash 原生稀疏注意力快22.7 倍,比 Qwen3.8-27B 的全注意力快72.4 倍;decode 阶段分别快4.6 倍和42.5 倍。这个加速比随上下文增长而扩大,在 1M token 时,对 GLM-5.3-Flash 的 prefill 加速为 3.5 倍,512k 时只有 2.1 倍,因为上下文较短时逐块扫描本来就不贵。按趋势外推,Tree 变体在 1 亿 token 时预计比基线稀疏注意力快 90 倍以上。
单层加速传导到整个模型时会被稀释,因为模型中还有大量不受影响的其他层。在 SGLang 的实际部署中,10M token 下 D-LSA 让 GLM-5.3-Flash 的首 token 时间(TTFT)缩短 2.2 倍(上下文并行),从约 7.5 分钟降到约 3.4 分钟;让 Qwen3.8-27B 的首 token 时间缩短 9.2 倍,从约 76 分钟降到约 8 分钟。
索引本身的显存占用也更小。在 10M token 下,D-LSA 每层索引占 246 MiB,GLM-5.3-Flash 原生方案为 331 MiB,Qwen 风格的块稀疏方案为 642 MiB。
D-LSA 单个全局注意力层的加速比(对数坐标)、10M token 下的索引显存,以及外推至 100M token 的 prefill 耗时。
N-LSA 的实验规模要小得多。团队从头训练了一个约 5 亿参数的混合模型,24 层中每 4 层有 1 层是注意力层,其余为 Gated DeltaNet 线性注意力层,在 128k token 的上下文下进行退火训练。结果显示,N-LSA 的验证损失与全注意力完全持平(均为 1.085),而同等稀疏预算下的 PISA、NSA 和滑动窗口注意力分别为 1.100、1.117 和 1.154。在 128k 的 RULER 上,N-LSA 得分 32.2,全注意力为 34.7,NSA 和 PISA 则跌到 19.2 和 14.6。训练速度方面,单个注意力层的前向加反向在 128k 时比 FlashAttention-3 实现的全注意力快 1.6 倍。
N-LSA 训练加速。左:单个注意力层前向加反向的加速比;右:退火阶段整个模型的验证损失随训练时间的变化。
结语
过去几年,长上下文的竞争主线是让注意力「少看一点」。从固定的滑动窗口,到 DeepSeek 的 DSA,再到各家的块稀疏方案,行业已经基本证明了只看不到 1% 的 token 也能维持精度。LSA 指出的是下一个瓶颈:当「看」变得便宜,「找」就成了大头。
把注意力层改造成一个带层次索引的检索系统,这个方向并不新,Reformer、Routing Transformer 等早期工作都尝试过按内容组织 key,但此前鲜有方法在 1M 以上的规模上同时验证过精度和速度。随着 Agent 开始承担持续数天的科研、编程等长程任务,上下文窗口还会继续变长,届时决定成本曲线的,或许正是索引器的复杂度。
本文来自微信公众号“机器之心”(ID:almosthuman2014),作者:关注注意力的机器之心,编辑:Panda,36氪经授权发布。
来源:36氪·AI · 36kr.com