Sep, 2022

Fast-FNet: 通过高效傅里叶层加速 Transformer Encoder 模型

PDF
TL;DR本研究比较了基于 Transformer 的语言模型中的注意力机制和傅里叶变换，并提出了几种采用更高效的傅里叶变换的模型架构，以提高模型效率。
transformer-based language modelsattention mechanismfnetfourier transformmodel efficiency
发现论文，激发创造
  • FNet: 用 Fourier 变换混合 token

    通过使用线性混合器代替自注意层，与标准的非线性前馈层一起能够在几个文本分类任务中模拟语义关系。用标准、非参数特定的傅里叶变化替换 Transformer 编码器中的自注意子层在 GLUE 基准测试上取得了 92-97% 的 BERT 模型的准确性，同时在标准 512 输入长度的 GPU 上训练速度提高了 80%，在 TPU 上提高了 70%。在更长的输入长度上，FNet 模型速度极快，在长序列基准测试中，FNet 模型能够匹配最精确模型的准确性，提供更快的模型训练速度。此外，FNet 的内存占用相对较小，在较小的模型尺寸下运行的性能优于 Transformer 模型。

    May, 2021

  • 傅里叶变换器：通过 FFT 算子消除序列冗余进行快速长距建模

    本文提出了 Fourier Transformer，该方法通过使用现成的快速傅里叶变换（FFT）算子来执行离散余弦变换（DCT）来逐步消除隐藏序列中的冗余信息以大大减少计算成本，同时保留了从各种大型预训练模型中继承权重的能力。结果表明，该模型在长距离建模基准 LRA 上实现了所有基于 Transformer 的模型中的最佳性能，在速度和空间方面均有显着改进。对于包括 CNN/DailyMail 和 ELI5 在内的生成 Seq-to-Seq 任务，通过继承 BART 权重，我们的模型优于标准 BART 和其他高效模型。

    May, 2023

  • 语言理解用的可调节延迟的 Transformer 编码器

    本文提出了一种可以自适应地调整推论计算成本的高效 Transformer 架构，包括 Attention Context Contribution（ACC）度量和新的策略，可用于 BERTbase 模型的微调，并且使得推论延迟提高了 4.8 倍，并且精度下降少于 0.75％。

    Jan, 2022

  • 一种广泛前馈即可解决所有问题

    通过删除解码器层的 FFN 并在编码器中共享单个 FFN，我们能够大幅减少参数数量，只有轻微的准确率下降，最终通过增加共享 FFN 的隐藏维度将这个架构恢复到原始尺寸，从而取得了在准确率和延迟方面的显著提升。

    Sep, 2023

  • 注意力全是你需要的

    本文提出一种基于注意力机制的 Transformer 模型，优于使用循环或卷积神经网络的现有机器翻译模型，且可并行训练、训练时间更短，使得 BLEU 评分得以显著提高，并成功将该模型应用于英语句法分析等任务。

    Jun, 2017

  • Fastformer：加性注意力足矣

    本文介绍了 Fastformer 模型，这是一种基于加法注意力的高效 Transformer 模型，与现有的 Transformer 模型相比，它可以更有效地建模长文本，并且具有线性复杂度。

    Aug, 2021

  • 高效压缩子层的 Transformer 解码器

    通过压缩 Transformer 模型的 decoder 层中 sub-layers 构建模块，提出了 Compressed Attention Network，实现了更高的并行性，性能与强基线相当，速度加快 1.42 倍。

    Jan, 2021

  • 基于 Transformer 的机器翻译中固定编码器自注意力模式

    使用简单固定的关注模式替换 Transformer 中编码器层的大多数注意力头对神经机器翻译的质量没有影响，并且在资源匮乏的情况下，甚至可以将 BLEU 评分提高 3 个点。

    Feb, 2020

  • 使用预训练 Transformer 作为通用计算引擎

    本研究探究了预先在自然语言处理上训练的 transformer 模型是否可以在最小化调整下进行泛化以适用于其他模式，并研究其在数字计算、视觉和蛋白质折叠预测等序列分类任务上的优化性能。结果表明，预训练模型对非语言下游任务的性能和计算效率都有积极作用。

    Mar, 2021

  • 快速 Transformer 解码：仅需要一个写头

    本文提出了一种多查询关注机制，使用这种机制可以降低增量解码的内存需求，并通过实验验证了这种关注机制可以使解码速度更快，同时只会导致较小的质量损失。

    Nov, 2019