Jul, 2023

针对量化 Transformer 的高能效注意力和 Softmax 加速器

PDF
TL;DR该论文提出了 ITA，一种新颖的加速器架构，用于 Transformer 模型和相关模型的高效推理，通过利用 8 位量化和一种仅操作整数值的创新 softmax 实现，在嵌入式系统上实现了低功耗和高效能。ITA 在能效上与最先进的 Transformer 加速器相媲美，达到 16.9 TOPS/W，而在面积效率方面以 22 纳米完全耗尽硅上绝缘体技术满足 0.8 V 下的每平方毫米 5.93 TOPS/mm² 的性能。
transformer networksefficient hardware acceleration8-bit quantizationsoftmax implementationenergy efficiency
发现论文，激发创造
  • Trio-ViT：面向无 softmax 的高效视觉 Transformer 的后训练量化与加速

    通过量化和加速高效 ViTs 的方法，提出了 Trio-ViT 框架，该框架在可比准确度下获得了可观的 FPS 和 DSP 效率提升，解决了 Vision Transformers 在嵌入式设备上部署困难的问题。

    May, 2024

  • SwiftTron: 用于量化 Transformer 的高效硬件加速器

    本文提出了 SwiftTron，这是一种高效的专用硬件加速器，旨在支持量化 Transformer 的不同类型操作，并考虑了各种缩放因子以进行正确的计算，在 65 纳米 CMOS 技术中，RoBERTa-base 模型的加速器在 1.83 纳秒内执行，同时消耗 33.64 mW 的功率，占用 273 平方毫米的面积，可以缓解 Transformers 在资源受限的 EdgeAI /tinyML 设备上部署的挑战。

    Apr, 2023

  • 教师干预：提高超低精度 Transformer 量化感知训练的收敛性

    本论文提出了一种名为 Teacher Intervention（TI）的主动知识蒸馏方法，用于快速收敛超低精度预训练 Transformer 的 QAT，并采用逐步干预机制来稳定恢复 Transformer 层的子节，提高模型准确性。

    Feb, 2023

  • 迈向超大规模 Transformer 的下一级后训练量化

    本文提出了一种新颖的 PTQ 算法 aespa，通过逐层量化实现高效性，同时考虑跨层依赖以保留注意力分数，通过对多种语言模型的广泛实验和复杂度分析，证明了 aespa 在量化 Transformer 模型时具备准确性和高效性。

    Feb, 2024

  • I-BERT：仅限整数的 BERT 量化

    本研究提出了一种新的基于整数的 Transformer 模型量化方案 I-BERT，使用轻量级整数逼近方法进行端到端的 Bert 推理，无需浮点计算，相较于全精度基准实现在准确率上相当甚至略有提高，同时在 T4 GPU 系统上进行 8 位整数推理的速度比 32 位浮点推理快 2.4-4 倍。

    Jan, 2021

  • BETA: 边缘二值化能效优化的 Transformer 加速器

    通过优化计算顺序和引入高度并行性和高速的 QMM 引擎，本文提出了一种基于二进制 Transformer 的能效较高的加速器 BETA，实验证明，BETA 在边缘部署中能够实现 174 GOPS/W 的平均能效，比之前基于 FPGA 的加速器高出 1.76~21.92 倍，显示了 BETA 在边缘 Transformer 加速方面的巨大潜力。

    Jan, 2024

  • TransAxx: 高效逼近计算的 Transformer

    本研究使用 Vision Transformer 模型结合近似计算方法分析了在低功耗设备上实现 Transformer 模型的计算要求和性能之间的折衷，并提出了使用蒙特卡洛树搜索算法生成 Vision Transformer 模型的近似加速器的方法，从而在不损失性能的前提下实现了显著的功耗优化。

    Feb, 2024

  • 自然语言理解的量化感知和张量压缩 Transformer 训练

    该论文提出了一种量化感知张量压缩训练方法，通过将 Transformer 模型的嵌入层和线性层压缩成小的低秩张量核，进一步获得低精度的模型表示进行端到端和蒸馏 - based 训练，并应用层与层的蒸馏方法将预训练的 Transformer 模型转换为量化和张量压缩的学生模型以提高收敛速度，并在两个自然语言理解任务中表现出高达 63 倍的压缩比、几乎无损的精度损失和显著的推断和训练加速。

    Jun, 2023

  • ZeroQuant: 大规模 Transformer 的高效和实惠的后训练量化

    本研究提出了一种有效而实惠的后训练量化方法，ZeroQuant，用于压缩大型 Transformer-based 模型。ZeroQuant 采用细粒度硬件友好量化、层内知识蒸馏算法、优化的量化系统等三个主要组成部分，能够在尽可能减少精度损失的情况下实现模型压缩和性能提升。

    Jun, 2022

  • 使用四位整数训练变压器

    本文提出了一种使用 INT4 算法进行 transformer 训练的方法，以实现低精度的前向和后向传播，并通过 Hadamard 量化器和位分裂等技术处理异常值和稀疏梯度，从而实现在当前型号 GPU 上完成快速的模型训练。

    Jun, 2023