FlashAttention-3:快速和准确的异步低精度注意力
提出了FlashAttention，一种IO感知的确切关注算法。FlashAttention使用平铺减少GPU高带宽内存（HBM）和GPU片上SRAM之间的内存读取/写入次数，并可扩展为块状稀疏关注。FlashAttention使Transformers速度提高，使其具有更长的上下文并获得更高质量的模型，以及实现了Path-X挑战的首个Transformers。
May, 2022
本研究提出一种高速的视觉Transformer模型EfficientViT，通过优化Memory-Hard Self-Attention (MHSA) 和注意力的多样性等方法，提高其内存利用率，加快模型速度，并在速度和准确性之间取得良好的平衡。
May, 2023
我们扩展了FlashAttention以容纳一大类稀疏性注意力模式，其中包括关键/查询删除和基于哈希的注意力。即使具有相对较低的稀疏度，我们的方法在序列长度增加时可见地改进FlashAttention的性能。不牺牲困惑度的情况下，我们将transformer语言模型的训练速度分别提高了2.0倍和3.3倍，对于长度为8k和16k的序列。
Jun, 2023
FlashDecoding++是支持主流LLM和硬件后端的快速LLM推理引擎，通过引入异步softmax、平坦GEMM优化和启发式数据流等技术，相较于Hugging Face实现，在NVIDIA和AMD GPU上实现了最高4.86倍和2.18倍的加速，在主流LLMs上平均实现了1.37倍的速度提升。
Nov, 2023
通过以较小的计算代价解决对大型语言模型（LLMs）进行量化和去量化操作时所面临的问题，我们提出了一种新的技术，并在不同模型和尺寸上进行了广泛实验，成功实现了每个权重的2.85位表示，模型的端到端加速比为1.74倍，同时降低了运行成本和硬件需求。
Nov, 2023
通过引入数据依赖的门控机制，我们开发了一种硬件高效的并行形式，使得门控线性注意力（GLA）Transformers在适度规模的语言建模中表现竞争力，并在训练速度上与基于CUDA优化的FlashAttention-2相媲美。
Dec, 2023
我们提供了FlashAttention-2前向传递的优化实现，使用了自定义融合的CUDA内核，以适应NVIDIA Hopper架构，并使用开源的CUTLASS库编写。在此过程中，我们解释了将在线softmax与连续的GEMM内核融合在一起的挑战和技术，利用Hopper特定的Tensor Memory Accelerator（TMA）和Warpgroup Matrix-Multiply-Accumulate（WGMMA）指令，定义和转换CUTLASS布局和张量，重叠复制和GEMM操作，并选择Q、K和V注意力矩阵的最优瓦片大小，同时平衡寄存器压力和共享内存利用率。在单个H100 PCIe GPU上进行的对比性测试中，针对某些常见的超参数选择，我们观察到与针对上一代NVIDIA Ampere架构进行优化的FlashAttention-2版本相比，FLOPs/s高出20-50%。
Dec, 2023
我们提出了一种名为“BurstAttention”的分布式注意力框架，通过在全局集群和本地设备级别上优化内存访问和通信操作，相比于竞争的基准线，在处理长序列时减少40%的通信开销，训练32K序列长度时实现2倍加速。
Mar, 2024
LeanAttention是一种可扩展的自注意力计算技术，通过重新设计解码阶段的执行流程，将自注意力机制的实现扩展到具有挑战性的长上下文长度情况，以并行计算的方式提供2.6倍的平均注意力执行加速和最多8.33倍的速度提升。
May, 2024