Feb, 2023

Transformer 推理的全栈优化：一项调查

PDF
TL;DR本文调查了提高 Transformer 模型推理效率的不同方法，包括分析现有模型架构的瓶颈和硬件设计的影响，调度操作的挑战，以及通过神经网络架构搜索来优化 Transformer 模型等研究方向。最后，作者将这些方法应用于一个开源的全栈 DNN 加速器生成器中，并表明这些方法都可以对提高模型推理速度产生影响，其中最优的全栈设计方法可以将速度提高多达 88.7 倍，同时性能基本不受损害
transformer modelsefficient inferencearchitecture designneural architecture searchdnn accelerator
发现论文，激发创造
  • 优化 Transformer 推理技术综述

    本文综述了技术优化变压器网络推断的技术，包括知识蒸馏，修剪，量化，神经架构搜索和轻量级网络设计，以及硬件级优化技术和设计新型硬件加速器，可帮助读者权衡参数 / FLOP 数量和准确性之间的关系。

    Jul, 2023

  • 高效扩展 Transformer 推理

    该研究旨在提高 Transformers 模型的生成推理效率，并通过多维分区技术、低级优化等策略获得较佳的推理效率和 FLOPS 利用率权衡，从而支持 Token 的大批量处理和长文本生成。

    Nov, 2022

  • DeepSpeed 推理：在前所未有的规模下实现 Transformer 模型的高效推理

    本文介绍了 DeepSpeed Inference 这一全面的转换模型推断系统解决方案，以解决目前多样化的转换模型在推断时遇到的挑战，包括多 GPU 推断方案，利用 CPU 和 NVMe 内存进行异构推断以及在实时延迟限制下运行万亿级别的推断等，并且可以比 GPU-only 解决方案处理规模大 25 倍的模型，同时提供高吞吐量。

    Jun, 2022

  • 在一个开源的 RISC-V 多微核平台上优化基础模型推理

    通过实现分布式 Softmax 原语并利用 ISA 扩展进行 SIMD 浮点操作数流和指令重复，以及专门的 DMA 引擎来最小化昂贵的主内存访问和容忍其延迟，在开源的 RISC-V 平台上呈现了第一批全流程的 Transformer 模型推理结果。对于仅编码器模型，我们展示了最优实现与基线版本之间高达 12.8 倍的加速比；同时在 HW 平台上实现可比较的计算单位吞吐量，FPU 利用率超过 79％和 294 GFLOPS/W，并比 SoA 加速器实现 2 倍以上的性能。对于仅解码器模型，与基线实现相比，在非自回归（NAR）模式下实现 16.1 倍的加速，而在自回归（AR）模式下实现高达 35.6 倍的加速。与最佳 SoA 专用加速器相比，我们实现了高 2.04 倍的 FPU 利用率。

    May, 2024

  • 神经机器翻译的高效推断

    该论文通过深度编码器和浅层解码器结构、多头注意力修剪以及将解码器自注意力替换为简化的循环单元等方法，可以在不降低翻译质量的情况下，在 CPU 和 GPU 上分别获得高达 109% 和 84% 的加速，并将参数数量减少 25%。

    Oct, 2020

  • 高效 Transformer：综述

    本研究总结了多个领域的最新端到端基于 Transformer 模型的 X-former 模型，强调了计算和内存效率

    Sep, 2020

  • 自动驾驶中基于 Transformer 模型和硬件加速的分析：综述

    系统概述了针对自动驾驶领域的 Transformer 模型，分析了编码器解码器和仅编码器模型的优缺点，并深入探讨了量化和运行时等关键因素对 Transformer 操作符及其硬件加速的影响，同时在卷积神经网络、Swin-Transformer 和具有 4D 编码器的 Transformers 层之间进行操作符水平比较。

    Apr, 2023

  • 图像 Transformer 的深入研究

    本文研究了基于 Transformer 的图片分类模型的优化，通过两个 Transformer 模型的改进，使得模型深度增加能够带来更好的性能表现，并在 Imagenet 数据集上取得了 86.5% 的 top-1 准确率，创造了当前最高成绩。同时，我们还通过重新评估标签，打破了 Imagenet-V2 数据集的最高准确率记录，并开放了源代码和训练好的模型。

    Mar, 2021

  • 通过组件组合实现一键式神经架构搜索，寻找更快的 Transformers

    本文利用基于采样的一次性架构搜索方法，对 Transformer 架构进行了分解，通过搜索以使模型具有更高的效率，同时保证模型的速度和性能。在应用 BERT-base 的架构中，我们成功地减少了 10%-30% 的速度，同时能够使先前的最先进精简 BERT 模型的速度提高了 70%。

    Aug, 2020

  • DNNFuser：基于生成式预训练转换器的 DNN 加速器层融合通用映射器

    本文提出了一种基于 Transformer 的 DNNFuser 映射器，专注于处理网络中的层融合映射空间，在一次推理传递内，DNNFuser 能够与高度优化的搜索映射器相匹配的性能推断出解决方案，速度提高了 66x 至 127x

    Jan, 2022