Jun, 2016

在 CPU 和 GPU 上使用扩展 BLAS 核函数的张量缩并

PDF
TL;DR本文提出了一种名为 STRIDEDBATCHEDGEMM 的 BLAS-like 原语，该原语可以在 CPU 和 GPU 上高效地执行各种张量收缩操作，并通过系统性基准测试证明了我们的方法相对于传统方法的优势。具体而言，我们实现了 Tucker 分解，并展示了使用我们的核心相对于使用现有技术的库实现的速度提升高达 100 倍。
发现论文，激发创造
  • KBLAS：面向 GPU 加速器的稠密矩阵 - 向量乘法优化库

    KBLAS 是一种新的开源高性能库，提供针对 CUDA 启用的 GPU 的一组高优化的 2 级 BLAS 功能，经过标准 BLAS API 的优化技术后，它在密集线性代数算法上的性能表现比现有的最先进的实现超越了 50％甚至达到了 60％的速度提升，在 NVIDIA 的标准 BLAS 实现（cuBLAS）中集成了一组 KBLAS 高性能核心。

    Oct, 2014

  • 多核上的深层张量卷积

    通过扩展和优化快速 Winograd 级卷积算法，我们在 CPU 硬件上最大化 CPU 利用率及多核可伸缩性，处理了视频和体积图像分析中的空时特征，并证明了与之前的最先进技术相比，吞吐量提高了 5 到 25 倍。

    Nov, 2016

  • 利用 GPU 张量核加速稀疏矩阵 - 矩阵乘法

    通过将稀疏矩形块进行分割，利用 Tensor Core Units（TCUs）的混合精度模式实现的稀疏矩阵乘法算法 tSparse，可以显著比常用的 cuSPARSE、CUSP、RMerge2、Nsparse、AC-SpGEMM 和 spECK 的方法提高性能。

    Sep, 2020

  • Im2win：GPU 上的高效卷积操作

    本文提出了基于 im2win 的卷积范式，旨在通过持续的内存访问提高性能，并经过了优化技术的改进，与其他基于 cuBLAS 和 cuDNN 的卷积实现相比，内存占用少 23.1% 至 32.8%，性能提高了 3.5 倍至 155 倍。

    Jun, 2023

  • GPU 上的稀疏矩阵乘法设计原则

    本文提出了两种新算法以在 GPU 上实现稀疏矩阵与密集矩阵相乘，主要关注延迟隐藏、负载平衡和内存访问，实验分析表明该算法在处理实际数据集时获得了 4.1 倍的速度提升和 31.7％的平均速度提升。

    Mar, 2018

  • GPyTorch：具有 GPU 加速的黑盒矩阵 - 矩阵高斯过程推理

    本研究提出了一种基于黑盒矩阵乘法（BBMM）的高斯过程推理方法，该方法可将精确 GP 推理的渐近复杂度从 $O (n^3)$ 降至 $O (n^2)$，并成功地使用 GPU 硬件显著加速了推理过程，此外还提供了一种基于 PyTorch 的软件平台 GPyTorch，可用于进行可扩展的高斯过程推理。

    Sep, 2018

  • 基于低内存 GEMM 的深度神经网络卷积算法

    本文提出两种新型基于 GEMM 的算法，分别只需要额外的 O (MHW) 和 O (KW) 的空间，显著降低了 DNN 卷积的空间开销，适用于内存受限的嵌入式系统，并且实验表明我们的低内存算法和最好的图案构建方法一样快，尽管需要的额外内存只相当于后者的一小部分。

    Sep, 2017

  • 基于编译器技术优化深度学习 GEMM

    本文介绍了一种名为 NGEMM 的基于编译器的 GEMM 实现方法，用于加速低精度 DNN 的训练和推理。与 MKL 等库相比，NGEMM 的性能表现更优，平均速度提升了 1.86 倍。

    Oct, 2019

  • 深度学习的稀疏 GPU 内核

    本文提出一种基于稀疏矩阵的计算优化方法，通过对深度学习应用中的稀疏矩阵进行深入研究，开发出可用于稀疏矩阵与密集矩阵乘法和采样密集 - 密集矩阵乘法的高性能 GPU 核，实现了神经网络模型的加速和内存节省。

    Jun, 2020

  • 核分离转置卷积操作

    本研究提出了一种基于核激活值的算法级优化技术，将原始内核分成四个子内核，从而降低了内存需求和不必要的乘法运算，提高了转置卷积层的计算效率。实验结果显示，采用所提出的优化方法比传统实现快 $2.2$ 倍。

    Sep, 2022