Aug, 2020

SparseRT: 基于 GPU 加速的深度学习推断非结构化稀疏矩阵运算

PDF
TL;DR本文介绍了一种基于 unstructured sparsity 的 code generator - SparseRT，通过对于 1x1 convolutions 以及 fully connected layers 进行计算，该方法相对于 equivalent dense computation 速度提升了 3.4x 至 5.4x，同时处理 ResNet-50 的 sparse 3x3 convolutions 取得了 5x 的速度提升，能够有效地加速 GPU 上的深度学习操作。
deep neural network pruningcompressionstructured pruning approachsparsertgpu acceleration
发现论文，激发创造
  • 在 GPU 上实现高效的 DNN 推断的平衡稀疏性

    本文提出一种新的 fine-grained sparsity 方法，即平衡稀疏化方法，使得深度学习模型在商用硬件上得以高效地获得准确性和加速，同时利用 GPU 的高并行特性，取得了高达 3.1 倍的实际加速效果。

    Nov, 2018

  • 通过划分稀疏矩阵块提高无硬件支持的稀疏 DNN 模型加速

    本文提出了一种算法 - 软件共同设计的剪枝方法，采用 “分块友好” 的稀疏模式来实现现有的密集结构上的延迟加速，旨在解决原先稀疏模型上由于随机分布权重导致计算不规则的问题，在 GPU 笔记本上成功地实现了 1.95 倍速度提升的优化效果。

    Aug, 2020

  • 在移动设备上实现 3D 卷积神经网络的实时执行

    该论文提出了 RT3D 框架，将神经网络权重修剪和编译器代码生成技术无缝集成，以实现 3D CNN 的模型压缩和移动加速。 RT3D 在现有支持 3D CNN 的移动框架中实现了高达 29.1 倍的推理时间加速，具有适度的 1％-1.5％准确度损失。

    Jul, 2020

  • 探索卷积神经网络中稀疏结构的规律性

    本研究分析稀疏性对深度神经网络加速器的设计效率和预测精度的影响，证明了相对于细粒度稀疏性，粗粒度稀疏性能够在保持同等精度的前提下获得更好的压缩率和更高效的硬件设计

    May, 2017

  • 从头开始学习 N:M 细粒度结构稀疏神经网络

    本文研究了一种 N:M 级别的深度神经网络稀疏网络，在专门设计的 GPU 上同时具有非结构化细粒度稀疏性和结构化粗粒度稀疏性的优点，解决了传统稀疏网络的效率问题，同时提出了一种 Sparse-refined Straight-through Estimator 方法，解决了传统优化方法下的负面影响。

    Feb, 2021

  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • 通过半结构化激活稀疏化加速深度神经网络

    通过在计算通用矩阵乘法（GEMM）时考虑激活的最终位置，我们设计了一种稀疏训练过程，以诱导可利用的半结构化激活稀疏性，并在图像分类和目标检测任务中对其进行了广泛评估，结果显示在 ImageNet 数据集上，我们的方法在 ResNet18 模型上实现了 1.25 倍的加速，并仅有 1.1% 的最小精度降低；另外，与先进的结构化剪枝方法相结合，得到的模型在延迟和准确性之间取得了很好的平衡，优于仅采用结构化剪枝技术的模型。

    Sep, 2023

  • 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

    本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

    Jan, 2019

  • SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练

    本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

    Jul, 2020

  • 深度学习的稀疏 GPU 内核

    本文提出一种基于稀疏矩阵的计算优化方法，通过对深度学习应用中的稀疏矩阵进行深入研究，开发出可用于稀疏矩阵与密集矩阵乘法和采样密集 - 密集矩阵乘法的高性能 GPU 核，实现了神经网络模型的加速和内存节省。

    Jun, 2020