Sep, 2023

基于算法、架构和数据流共同设计的高效稀疏 DNN 训练

PDF
TL;DR提出了一个计算高效的 N:M 稀疏深度神经网络（DNN）训练方案，包括算法、架构和数据流共同设计，并利用双向权重修剪方法和稀疏加速器实现了高效的 N:M 稀疏 DNN 训练，在几种 DNN 模型和数据集上的实验结果表明，在 2:8 稀疏比率下，该方案相对于密集训练可实现平均 1.75 倍的加速，准确度损失平均仅为 0.56%，在 FPGA 加速器上训练吞吐量提高了 2.97~25.22 倍，能效提高了 1.36~3.58 倍。
sparse trainingn:m fine-grained structured sparsitycomputation-efficient training schemebidirectional weight pruning methodsparse accelerator for dnn training
发现论文，激发创造
  • SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练

    本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

    Jul, 2020

  • 从头开始学习 N:M 细粒度结构稀疏神经网络

    本文研究了一种 N:M 级别的深度神经网络稀疏网络，在专门设计的 GPU 上同时具有非结构化细粒度稀疏性和结构化粗粒度稀疏性的优点，解决了传统稀疏网络的效率问题，同时提出了一种 Sparse-refined Straight-through Estimator 方法，解决了传统优化方法下的负面影响。

    Feb, 2021

  • 加速稀疏神经网络的训练：一种可以证明有效的 N:M 可转换掩码发现方法

    本研究提出了一种新的称为掩码多样性的度量方法来降低 DNN 的内存占用，并介绍了一种可同时用于前向和后向传递的新型可转置细粒度稀疏掩码，通过使用最小成本流问题来寻找最优的可转置掩码，并且还提出了一种将无结构稀疏模型转换为 N:M 细粒度块稀疏模型的方法。

    Feb, 2021

  • 带有衰减剪枝掩码的 N:M 结构稀疏化训练配方

    本文研究 N:M 稀疏性训练的不同方法，并提出了两种新的基于衰减的修剪方法，即 “修剪掩码衰减” 和 “稀疏结构衰减”。研究表明，这些提出的方法在保持与非结构化稀疏性可比的模型精度同时，增加的总训练计算量（FLOPs）相对较小。

    Sep, 2022

  • 在密集硬件上快速训练稀疏图神经网络

    本研究通过优化稀疏矩阵算法，使用面向固定大小数据的平台扩展了稀疏图神经网络模型，使用 512 核 TPUv2 Pod 仅用 13 分钟训练，而原始训练需要近一天。

    Jun, 2019

  • Procrustes：用于稀疏深度神经网络训练的数据流和加速器

    本文研究了适用于稀疏权重和激活张量的能源高效型深度神经网络 (DNN) 修剪算法，并提出了一种稀疏 DNN 训练加速器，可以在不牺牲精度的情况下消耗更少的能源和获得更快的速度。该研究表明，加速稀疏训练需要一种协同设计方法，其中算法被适应到硬件的限制，并且与推断加速器不同，稀疏 DNN 训练硬件必须应对不同的限制。

    Sep, 2020

  • 通过划分稀疏矩阵块提高无硬件支持的稀疏 DNN 模型加速

    本文提出了一种算法 - 软件共同设计的剪枝方法，采用 “分块友好” 的稀疏模式来实现现有的密集结构上的延迟加速，旨在解决原先稀疏模型上由于随机分布权重导致计算不规则的问题，在 GPU 笔记本上成功地实现了 1.95 倍速度提升的优化效果。

    Aug, 2020

  • 结构稀疏动态稀疏训练

    本研究提出了一种基于 DST 方法的 N:M 结构稀疏化学习方案，其具有较高的稀疏度并支持常见的硬件加速方式，在理论和实践中都表现出较好的泛化性能与较低的推理时间。

    May, 2023

  • HASS: 数据流 DNN 加速器的硬件感知稀疏性搜索

    利用软硬件协同优化的方法，我们提出了一种针对数据流加速器的利用非结构化稀疏性的新方法，通过一系列模型，在现有的疏松设计中实现了从 1.3 倍到 4.2 倍的效率提升，特别是 MobileNetV3 的吞吐量可以优化到 4895 张图像每秒。HASS 是开源的：https://github.com/Yu-Zhewen/HASS

    Jun, 2024

  • 利用分布式内存驱动多核处理器加速稀疏和循环模型的训练

    通过在分布式本地内存上使用稀疏和循环模型训练方法，我们观察到与 GPU 相比，使用 MIMD 处理器 (Intelligence Processing Unit) 的稀疏激活张量在训练负载上实现了 5-10 倍的吞吐量增益，且在训练收敛或最终模型性能上没有明显减慢。

    Nov, 2023