FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention
该论文提出 Lookahead Sparse Attention，使用独立训练的神经记忆索引器预测未来上下文需求，仅在 GPU 上保留查询关键的 KV 分块。FlashMemory 将物理 KV 缓存占用平均压缩至完整上下文注意力的 13.5%，同时保持或略微提升长上下文准确率。
注意力机制
围绕 Transformer 内部机制、注意力变体、KV 缓存行为和跨层信息流的研究。
研究分类
围绕 Transformer 内部机制、注意力变体、KV 缓存行为和跨层信息流的研究。
7论文
17资源链接
2026.06最新月份
7 篇论文
注意力架构
论文
代码
Hugging FaceMiniMax Sparse Attention
该论文提出 MiniMax Sparse Attention，一种基于 GQA 的分块稀疏注意力机制，通过轻量级 Index Branch 为每个 GQA 组选择 Top-k KV 分块，再执行精确稀疏注意力。其协同设计的 GPU kernel 将稀疏性转化为百万 token 上下文中的实际加速，同时保持接近 dense GQA 的模型效果。
GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding
该论文提出 Group-Query Latent Attention，对 MLA 做最小修改，使同一组训练权重同时暴露 MQA-absorb 和 GQA 两条解码路径。运行时可根据目标硬件选择路径，无需重新训练或自定义 kernel，从而兼顾 H100 式压缩解码、面向 H20 的 GQA 加 MTP，以及最高 8 路零冗余张量并行。
Attention Residuals
该工作用对前序层输出的注意力替代固定残差累积，使模型能够根据输入动态聚合不同深度的信息，并缓解 PreNorm 带来的表征稀释问题。论文还提出 Block AttnRes，在更低显存与通信开销下支持可扩展训练。
项目Kimi Linear: An Expressive, Efficient Attention Architecture
该论文提出 Kimi Linear 混合架构，其 Kimi Delta Attention 模块结合细粒度门控与基于特化对角加低秩转移矩阵的高效分块算法。一个总参数 48B、激活参数 3B 的模型在相同训练方案下优于完整 MLA，同时将 KV 缓存占用最多降低 75%，并在 100 万 token 上下文中实现最高 6 倍解码吞吐。
RoFormer: Enhanced Transformer with Rotary Position Embedding
该论文提出旋转位置编码（RoPE），通过旋转矩阵编码绝对位置，同时使自注意力显式依赖相对位置。RoPE 支持灵活的序列长度、随相对距离增加而衰减的 token 依赖，并可为线性自注意力引入相对位置编码。
Fast Transformer Decoding: One Write-Head is All You Need
该论文提出 multi-query attention，在不同注意力头之间共享 keys 和 values，以降低 Transformer 增量解码中的内存带宽开销。该变体显著提升解码速度，同时相较多头注意力基线仅带来轻微质量下降。