Apr, 2024

非 GEMM 基准：通过非 GEMM 工作负载了解最新机器学习工作负载的性能边界

PDF
TL;DR机器学习 (ML) 运算符是设计具有不同目标应用的 ML 模型的基本构建模块。GEneral Matrix Multiplication (GEMM) 运算符是 ML 模型的基础，但在计算上非常昂贵，因此需要对其进行研究和优化以加快 ML 模型的执行速度。然而，非 GEMM 运算符的性能尚未像 GEMMs 那样进行深入研究，因此本文介绍了一种用于研究非 GEMM 运算符的基准测试，通过使用来自不同领域的流行 ML 工作负载构建 ench，然后在各个等级的 GPU 平台上进行案例研究，以分析 GPU 加速系统中非 GEMM 运算符的行为，并提供一些关键性的发现，以弥合 GEMM 和非 GEMM 运算符之间的差距，并为社区提供潜在的新的优化方向。
machine learningml operatorsgeneral matrix multiplicationgemm operatorsnongemm operators
发现论文，激发创造
  • 基于编译器技术优化深度学习 GEMM

    本文介绍了一种名为 NGEMM 的基于编译器的 GEMM 实现方法，用于加速低精度 DNN 的训练和推理。与 MKL 等库相比，NGEMM 的性能表现更优，平均速度提升了 1.86 倍。

    Oct, 2019

  • NeuralMatrix：将整个神经网络转换为通用矩阵乘法以实现高效推断

    本研究提出了一种新的框架 NeuralMatrix，可以在一个单一的通用矩阵乘法加速器上计算多功能的深度神经网络，同时在性能和特定应用的加速水平方面与 CPU 和 GPU 等通用处理器相比具有优势。

    May, 2023

  • Misam: 使用机器学习在稀疏稀疏矩阵乘法的数据流选择

    通过使用决策树和深度强化学习技术，本文提出一种基于机器学习的方法来自适应地选择适应不同稀疏度模式的 SpGEMM 任务的最合适的数据流方案，进一步对比了传统的启发式方法，结果显示使用机器学习来进行硬件加速器中的动态数据流选择能够带来高达 28 倍的性能提升。

    Jun, 2024

  • IM-Unpack: 训练和推理使用任意低精度整数

    通过使用低位整数表示矩阵的原始元素，减小舍入误差并提高效率，同时提出整数矩阵解包算法 (IM-Unpack) 来处理难以通过低位整数矩阵计算获得效率的矩阵，从而在深度学习中实现与浮点数计算的等效结果。

    Mar, 2024

  • 基于低内存 GEMM 的深度神经网络卷积算法

    本文提出两种新型基于 GEMM 的算法，分别只需要额外的 O (MHW) 和 O (KW) 的空间，显著降低了 DNN 卷积的空间开销，适用于内存受限的嵌入式系统，并且实验表明我们的低内存算法和最好的图案构建方法一样快，尽管需要的额外内存只相当于后者的一小部分。

    Sep, 2017

  • DeepGEMM: 使用查找表在 CPU 结构上加速的超低精度推断

    通过建立查找表并在推理时高效地访问它们，DeepGEMM 可以在 SIMD 硬件上执行超低精度卷积神经网络，比现有框架中的对应 8 位整数核心性能提高了高达 1.74 倍。

    Apr, 2023

  • BiQGEMM：二进制编码量化深度神经网络中的查找表矩阵乘法

    本论文提出了一种针对量化 DNN（deep neural networks）的新型矩阵乘法方法，称为 BiQGEMM。通过一次指令同时访问多个量化权重， BiQGEMM 可以提高计算性能，并通过预计算中间结果来降低计算总量。在大量实验中，BiQGEMM 在 DNN 量化场景下表现出更高的性能。

    May, 2020

  • NVIDIA Tensor Core 可编程性、性能和精度

    本文介绍了 NVIDIA Volta GPU 微架构中一种特殊的处理器 Tensor Core，它能够在每个时钟周期内对 4x4 矩阵执行一个矩阵乘积累加操作，经过测试，我们发现 NVIDIA Tensor Core 在 Tesla V100 GPU 上能够以混合精度提供 83 Tflops/s 的处理速度，使得 HPC 应用的矩阵乘法能够获得显著的性能提升。

    Mar, 2018

  • GE-SpMM: 用于图神经网络的 GPU 通用稀疏矩阵乘法

    本文介绍了 GE-SpMM 方法，该方法可以在 GPU 上进行支持高通用性的稀疏矩阵加速操作，并且在真实的图像数据集上实验表明，GE-SpMM 可以在 Nvidia cuSPARSE 和 GraphBLAST 上实现高达 1.41 倍和 1.81 倍的加速，且在 GNN 模型上可以获得高达 3.67 倍的加速效果。

    Jul, 2020

  • 应用 Exo 解决矩阵乘法微内核生成

    矩阵乘法（或 GEMM）的优化是近几十年来的需求之一，本研究提出了一种使用 Exo 编译器生成 micro-kernels 的逐步过程，并且性能接近（甚至优于）使用内置函数或汇编代码手动开发的 micro-kernels，同时提高了生成代码的可移植性。

    Oct, 2023