DeFT: 带有 IO 感知的快速树注意力的树搜索型 LLM 推理

Mar, 2024

DeFT: 带有 IO 感知的快速树注意力的树搜索型 LLM 推理

DeFT: Flash Tree-attention with IO-Awareness for Efficient Tree-search-based LLM Inference

Jinwei Yao, Kaiqi Chen, Kexun Zhang, Jiaxuan You, Binhang Yuan...

TL;DR通过树搜索解码，DeFT 提出了一种基于 IO 的树注意力算法，实现了内存高效的注意力计算，加速了端到端推理任务的运行速度。

Abstract

decoding using tree search can greatly enhance the inference quality for transformer-based large language models (LLMs). Depending on the

decoding tree search transformer-based large language models deft memory-efficient attention calculation

发现论文，激发创造

Treeformer: 高效注意力计算的密集梯度树

本文提出了一种名为 Treeformer 的新型 transformer 模型，通过采用基于决策树的层次化导航方法，将 attention 计算的检索成本从线性降低为几乎对数级，同时使用 TF-Attention 和 TC-Attention 两种 attention 层实现了性能优于基准 Transformer 30 倍 FLOPs 的结果。

Aug, 2022

精简注意力：面向 Transformer 解码阶段的硬件感知可扩展注意力机制

LeanAttention 是一种可扩展的自注意力计算技术，通过重新设计解码阶段的执行流程，将自注意力机制的实现扩展到具有挑战性的长上下文长度情况，以并行计算的方式提供 2.6 倍的平均注意力执行加速和最多 8.33 倍的速度提升。

May, 2024

FlashAttention: 带 IO 感知的快速、节省内存的精确注意力机制

提出了 FlashAttention，一种 IO 感知的确切关注算法。FlashAttention 使用平铺减少 GPU 高带宽内存（HBM）和 GPU 片上 SRAM 之间的内存读取 / 写入次数，并可扩展为块状稀疏关注。FlashAttention 使 Transformers 速度提高，使其具有更长的上下文并获得更高质量的模型，以及实现了 Path-X 挑战的首个 Transformers。

May, 2022

基于 Top-k 注意力的内存高效 Transformer

本文介绍了一种简单而高效的用于 vanilla attention 的逼近算法，基于对查询进行分块的计算，在多个数据集上的评估表明其准确性接近于 vanilla attention。

Jun, 2021

四叉树注意力视觉 Transformer

通过部分 Attention 性能的提升，QuadTree Attention 可以有效实现对密集预测的视觉任务，如物体检测和特征匹配，将计算复杂度从二次降至线性，具有比以往转换器更高的性能。

Jan, 2022

DiTFastAttn：扩散变压器模型的注意力压缩

Diffusion Transformers（DiT）在图像和视频生成方面表现出色，但由于自注意力的二次复杂度而面临计算挑战。我们提出 DiTFastAttn，这是一种新颖的后训练压缩方法，用于减轻 DiT 的计算瓶颈。我们确定了 DiT 推理过程中注意力计算中的三个关键冗余：1. 空间冗余，即许多注意力头部关注局部信息；2. 时间冗余，即相邻步骤的注意力输出之间存在高相似性；3. 条件冗余，即条件和无条件推理之间存在显著相似性。为了解决这些冗余，我们提出了三种技术：1. 带残留缓存的窗口注意力，以减少空间冗余；2. 时间相似性减少，以利用步骤之间的相似性；3. 条件冗余消除，以在条件生成过程中跳过冗余计算。为了证明 DiTFastAttn 的有效性，我们将其应用于 DiT、PixArt-Sigma 进行图像生成任务，以及 OpenSora 进行视频生成任务。评估结果显示，对于图像生成，我们的方法减少了高分辨率生成中高达 88％的 FLOPs，实现了高达 1.6 倍的加速。

Jun, 2024

树状扩展粗细 Q-attention

该研究提出了 Q-attention with Tree Expansion（QTE）来替代标准的 Q-attention，从而解决在机器人操作中由于分辨率较低而导致的对象类似度较高的问题。经过多项 RLBench 任务以及真实物体实验，证明我们的方法显著提高了机器人操作的效率。

Apr, 2022

理解和改善知识蒸馏，针对大型 Transformer 编码器的量化感知训练

本文提出了两种知识蒸馏方法，即注意力映射和注意力输出损失，并探索了两者的统一，以解决注意力重构的不足。实验结果表明，这两种知识蒸馏方法可以在使用小于 2 位的量化权重时，获得具有先进性的精度。

Nov, 2022

MLKV：用于内存高效 Transformer 解码的多层键值头

通过多层键 - 值共享方式，将键值缓存扩展到变压器层，进一步降低内存使用量，提高变压器模型在大规模场景中的效率。

Jun, 2024

快速 Transformer 解码：仅需要一个写头

本文提出了一种多查询关注机制，使用这种机制可以降低增量解码的内存需求，并通过实验验证了这种关注机制可以使解码速度更快，同时只会导致较小的质量损失。

Nov, 2019