Apr, 2023

SwiftTron: 用于量化 Transformer 的高效硬件加速器

PDF
TL;DR本文提出了 SwiftTron，这是一种高效的专用硬件加速器，旨在支持量化 Transformer 的不同类型操作，并考虑了各种缩放因子以进行正确的计算，在 65 纳米 CMOS 技术中，RoBERTa-base 模型的加速器在 1.83 纳秒内执行，同时消耗 33.64 mW 的功率，占用 273 平方毫米的面积，可以缓解 Transformers 在资源受限的 EdgeAI /tinyML 设备上部署的挑战。
发现论文，激发创造
  • ZeroQuant: 大规模 Transformer 的高效和实惠的后训练量化

    本研究提出了一种有效而实惠的后训练量化方法，ZeroQuant，用于压缩大型 Transformer-based 模型。ZeroQuant 采用细粒度硬件友好量化、层内知识蒸馏算法、优化的量化系统等三个主要组成部分，能够在尽可能减少精度损失的情况下实现模型压缩和性能提升。

    Jun, 2022

  • 面向设备的神经机器翻译的极低比特 Transformer 量化

    本研究提出一种混合精度量化策略，将 Transformer 权重表示为极低位数（例如小于 3 位），该压缩策略使得在设备上实现高效的神经机器翻译变得可行，实现了模型大小 11.8 倍的减小，内存占用减少 8.3 倍，速度提高 3.5 倍，同时 BLEU 低于 - 0.5。

    Sep, 2020

  • BETA: 边缘二值化能效优化的 Transformer 加速器

    通过优化计算顺序和引入高度并行性和高速的 QMM 引擎，本文提出了一种基于二进制 Transformer 的能效较高的加速器 BETA，实验证明，BETA 在边缘部署中能够实现 174 GOPS/W 的平均能效，比之前基于 FPGA 的加速器高出 1.76~21.92 倍，显示了 BETA 在边缘 Transformer 加速方面的巨大潜力。

    Jan, 2024

  • 针对量化 Transformer 的高能效注意力和 Softmax 加速器

    该论文提出了 ITA，一种新颖的加速器架构，用于 Transformer 模型和相关模型的高效推理，通过利用 8 位量化和一种仅操作整数值的创新 softmax 实现，在嵌入式系统上实现了低功耗和高效能。ITA 在能效上与最先进的 Transformer 加速器相媲美，达到 16.9 TOPS/W，而在面积效率方面以 22 纳米完全耗尽硅上绝缘体技术满足 0.8 V 下的每平方毫米 5.93 TOPS/mm² 的性能。

    Jul, 2023

  • ZeroQuant-HERO: W8A8 变换器的硬件增强鲁棒优化后训练量化框架

    Quantization techniques for deep neural network inference, specifically ZeroQuant-HERO framework, optimize memory bandwidth and hardware performance.

    Oct, 2023

  • Transformer 神经机器翻译模型的高效 8 位量化

    本研究尝试利用 INT8/VNNI 指令量化 Transformer 模型，提高推理性能，同时保持不到 0.5% 的准确度下降。研究者在 TensorFlow 中提出了一种新的量化技术，并采用了一种并行处理技术，优化后的结果比最佳 FP32 性能提高了 1.5 倍，讨论了量化深度学习的机会和挑战，并建立了在 Intel CPU 上高效运行推理的最佳实践。

    Jun, 2019

  • 基于二次幂量化的神经网络能效硬件加速

    通过使用二次幂量化和基于位移乘累加运算代替传统的乘累加运算，以及基于对数量化的新型剪枝方法，本文在基于 Zynq UltraScale + MPSoC ZCU104 SoC FPGA 的硬件神经网络加速器中实现了 Power-of-Two (PoT) 权重，实现了至少 $1.4x$ 的能效提升。

    Sep, 2022

  • 通过端到端 4 位量化加速递归神经网络转录器的推断和语言模型融合

    本研究探讨了量化技术对于循环神经网络传输器（RNN-T）推论过程的加速作用，通过量化训练（QAT）重新训练全模型，应用自定义的量化方案并使用大型 beam widths 进行假设搜索，实现了 RNN-T 的端到端量化，并取得了较好的性能以及与浮点精度相比 7.6 倍的压缩比。

    Jun, 2022

  • 理解和克服高效 Transformer 量化的挑战

    本文探讨了 Transformer 模型的量化问题，并给出了三种解决方法，其中一种基于 embedding group 的量化方法建立了新的量化模型，该方法可降低模型内存占用且保证了一定的精度。通过在 GLUE 基准测试中使用 BERT，我们准确评估了这些方法的有效性，并提出了一种新的超低比特宽度的 transformer 权重和 embedding 的量化方法，以实现更大的内存节省。

    Sep, 2021

  • 自然语言理解的量化感知和张量压缩 Transformer 训练

    该论文提出了一种量化感知张量压缩训练方法，通过将 Transformer 模型的嵌入层和线性层压缩成小的低秩张量核，进一步获得低精度的模型表示进行端到端和蒸馏 - based 训练，并应用层与层的蒸馏方法将预训练的 Transformer 模型转换为量化和张量压缩的学生模型以提高收敛速度，并在两个自然语言理解任务中表现出高达 63 倍的压缩比、几乎无损的精度损失和显著的推断和训练加速。

    Jun, 2023