AAAIFeb, 2024

通过移除 GELU 激活函数加速整数 SWIN Transformer 的推断

PDF
TL;DR通过移除 SWIN Transformer 中的 GELU 激活，并用 ReLU 激活代替，我们使用迭代式知识蒸馏方法，在保持准确度下降低于 0.5% 的同时，至少提高了 11% 的量化 SWIN Transformer 的推理延迟。
swin transformerinference latencygelu activationrelu activationknowledge distillation
发现论文，激发创造
  • 在量化嘈杂环境中利用连续可微激活函数进行学习

    通过不可微的激活函数如 GELU 和 SiLU，我们能够在存在量化噪声的情况下，实现对卷积、线性和 Transformer 网络的分析和训练，从而提供实现高性能和可靠硬件的适当激活函数选择。

    Feb, 2024

  • 变形金刚模型全面实现 8 位整型推断

    通过对 Transformer 模型进行整合，得到了一个 8 位整型 Inference 算法，其鲁棒的 8 位量化方法大大减少了内存占用问题。实验结果表明，与基准架构相比，该算法的性能基本一致且内存占用减少了近 4 倍。

    Sep, 2020

  • I-BERT：仅限整数的 BERT 量化

    本研究提出了一种新的基于整数的 Transformer 模型量化方案 I-BERT，使用轻量级整数逼近方法进行端到端的 Bert 推理，无需浮点计算，相较于全精度基准实现在准确率上相当甚至略有提高，同时在 T4 GPU 系统上进行 8 位整数推理的速度比 32 位浮点推理快 2.4-4 倍。

    Jan, 2021

  • 学习线性化深度神经网络以实现安全高效的私有推理

    该研究提出了一种敏捷的训练方法 SENet，可在保持模型分类精度的同时大幅度减少 ReLU 神经元来降低由 ReLU 操作引起的延迟，从而提高隐私推断（PI）的效率与准确性。

    Jan, 2023

  • 转换器中非线性操作的遗传量化感知近似

    本文提出了一种基因 LUT 逼近算法，用于优化 Transformers 中的非线性函数的手段，该算法通过量化意识自动确定参数，并在常规和线性 Transformer 模型上实现可忽略的性能下降，同时实现了 81.3~81.7% 的面积节省和 79.3~80.2% 的功耗降低。

    Mar, 2024

  • 在 Transformer 中重用 Softmax 硬件单元进行 GELU 计算

    通过将 GELU 计算映射到 softmax 运算符，本文提出了一种在硬件中重新利用预设计的 softmax 硬件单元来计算 GELU 的方法，实验结果证明这种方法不会减少代表性自然语言处理应用的准确性，并且可以平均降低 6.1% 的硬件面积和 11.9% 的功耗。

    Feb, 2024

  • SwinIR：使用 Swin Transformer 进行图像恢复

    本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。

    Aug, 2021

  • I-ViT：整数量化优化视觉 Transformer 推理

    本文提出 I-ViT 作为 Vision Transformers 的整数量化方案，在不使用浮点算数的情况下，通过整数算术和位移来完成计算图的整个计算过程，并使用 Shiftmax 和 ShiftGELU 等方法来近似非线性组件，以减少模型复杂性并提高在边缘设备上的有效性，实验结果表明整数量化达到与 FP 基线相当（甚至略高）的准确率，并且使用 TVM 在 GPU 的整数算术单元上实现了 3.72-4.11 倍的推断加速。

    Jul, 2022

  • 半波高斯量化下的低精度深度学习

    研究深度神经网络的激活量化问题，提出了一种半波高斯量化器（HWGQ）来近似 ReLU 非线性激活函数，并探讨了多种反向逼近方式以解决梯度失配问题，实现的量化网络 HWGQ-Net 的性能比以前的低精度网络如二进制权重和二位量化激活的网络接近全精度网络（如 AlexNet，ResNet，GoogLeNet 和 VGG-Net）。

    Feb, 2017

  • GLU 变体改进 Transformer

    本研究测试了变化的 GLU，其中用不同的非线性（或线性）函数代替 sigmoid，发现其中一些在 Transformer 的前馈子层中使用比通常使用的 ReLU 或 GELU 激活函数有质量改进。

    Feb, 2020