Oct, 2023

在普通硬件上加速机器学习基元

PDF
TL;DR滑动窗口求和算法在深度神经网络的训练和推理中取得了成功。本文通过对滑动窗口卷积技术的广泛研究，作为常用的通用矩阵乘法（GEMM）卷积的一种更高效的替代方法，解决了内存膨胀问题，并在二维卷积中展示了显著的加速效果。我们在多种实现方式上探索了该技术的性能，包括针对特定滤波器尺寸的自定义内核。结果表明，在 CPU 甚至专用硬件加速器上，滑动窗口计算内核可以优于基于 GEMM 的卷积。这将推动 AI 在低功耗和低内存设备上的更广泛应用，无需专用硬件。同时，我们还讨论了模型压缩方法和优化网络架构与滑动窗口技术的兼容性，鼓励进一步在这些领域开展研究。
发现论文，激发创造
  • 深度神经网络的滑动窗口求和算法

    本文研究了滑动窗口求和算法在深度神经网络中的应用，展示了该算法可以用于池化和卷积原语的求值，并且该滑动求和卷积核比 CPU 上常用的 GEMM 卷积核更有效，甚至可以超过 GPU 对应核心的卷积核。

    May, 2023

  • 基于低内存 GEMM 的深度神经网络卷积算法

    本文提出两种新型基于 GEMM 的算法，分别只需要额外的 O (MHW) 和 O (KW) 的空间，显著降低了 DNN 卷积的空间开销，适用于内存受限的嵌入式系统，并且实验表明我们的低内存算法和最好的图案构建方法一样快，尽管需要的额外内存只相当于后者的一小部分。

    Sep, 2017

  • Im2win：GPU 上的高效卷积操作

    本文提出了基于 im2win 的卷积范式，旨在通过持续的内存访问提高性能，并经过了优化技术的改进，与其他基于 cuBLAS 和 cuDNN 的卷积实现相比，内存占用少 23.1% 至 32.8%，性能提高了 3.5 倍至 155 倍。

    Jun, 2023

  • Im2win：基于 SIMD 结构的内存高效卷积

    提出了一种名为 im2win 的内存高效数据转换算法，能够实现连续的内存访问和数据重用，从而大大降低内存开销，同时通过各种优化实现高性能二维卷积，平均可以将内存开销降低到 41.6％，相对于 im2col 和不使用数据转换，性能平均提高了 3.6 倍和 5.3 倍。

    Jun, 2023

  • 动态功能连接：基于随机卷积而不学习的不再滑动窗口

    基于随机卷积的特征扩展方法在动态功能连接领域比滑动窗口方法更有效，在模拟数据和实际性别差异研究中均取得更好的结果。该研究提出了更全面的卷积功能连接计算模型，其中滑动窗口方法是该模型的特例，从而为动态功能连接的研究方法打开了巨大的潜力。

    Jun, 2024

  • DWM：一种可分解的 Winograd 卷积加速方法

    本文提出了一种新的分解 Winograd 方法（DWM），可以显著提高 Winograd 算法在卷积神经网络中的应用范围（包括大尺寸核和大步长卷积），从而在保持数值精度的同时，减少计算量和提高性能。

    Feb, 2020

  • 多核上的深层张量卷积

    通过扩展和优化快速 Winograd 级卷积算法，我们在 CPU 硬件上最大化 CPU 利用率及多核可伸缩性，处理了视频和体积图像分析中的空时特征，并证明了与之前的最先进技术相比，吞吐量提高了 5 到 25 倍。

    Nov, 2016

  • 用于异构硬件系统上的像素级分类的高效卷积神经网络

    本文介绍了三个用于图像像素分类的卷积神经网络模型，通过去除冗余计算或使用全卷积体系结构来解决滑动窗口网络中存在的冗余计算问题。作者对这三种模型进行了评估，并评估了它们在两个神经组织数据集上的表现，以及训练过程中使用的不同损失函数。

    Sep, 2015

  • 使用深度最大池化卷积神经网络进行快速图像扫描

    利用动态规划算法，即使存在最大池化层，也能将深度神经网络在滑动窗口扫描图像时的计算复杂度提高数倍。

    Feb, 2013

  • NeuralMatrix：将整个神经网络转换为通用矩阵乘法以实现高效推断

    本研究提出了一种新的框架 NeuralMatrix，可以在一个单一的通用矩阵乘法加速器上计算多功能的深度神经网络，同时在性能和特定应用的加速水平方面与 CPU 和 GPU 等通用处理器相比具有优势。

    May, 2023