May, 2017

SCNN：压缩稀疏卷积神经网络加速器

PDF
TL;DR该论文介绍了一种名为 Sparse CNN 的卷积神经网络加速器体系结构，它可以通过利用 CNN 训练期间的网络修剪所产生的零值权重以及推理期间常见的 ReLU 算子产生的零值激活来提高性能和能源效率，从而减少数据传输和存储要求，并通过一种新型数据流方式有效地传递权重和激活值到乘法器阵列。该加速器在现代神经网络上可以将性能和能源效率分别提升 2.7 倍和 2.3 倍。
发现论文，激发创造
  • FSCNN: 一种快速的稀疏卷积神经网络推理系统

    本文主要介绍了利用大规模稀疏结构提高卷积神经网络推理效率的方法， 开发了一种名为 FSCNN 的稀疏卷积神经网络推理系统，能够在一定的稀疏程度下优于标准深度学习库 PyTorch，但遇到高优化密集运算时推理效率有一定局限性，因此推荐采用粗粒度稀疏度进行通用模型压缩。

    Dec, 2022

  • SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练

    本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

    Jul, 2020

  • SCNN: 基于一般分布的统计卷积神经网络及其在视频目标检测中的应用

    本文提出了一种通过操作相关数字分布的统计卷积神经网络（SCNN）来处理多帧相关图像的方法，实现了显著的速度提升，即使在未经优化的情况下，仍然能实现高达 178% 的加速。

    Mar, 2019

  • 基于脉冲活动修剪的高效深度脉冲神经网络构建

    基于脉冲神经网络（SNN）的结构稀疏化，提出了一种基于卷积核活动水平的结构删减方法，通过动态调整网络结构使其更适应当前目标任务，提高模型的适应性、降低计算负载和加速推理过程。

    Jun, 2024

  • 通过卷积稀疏编码分析卷积神经网络

    提出了一种新的多层模型，ML-CSC，其信号被假定为从一系列 CSC 层中出现。CNN 的前向传递实际上是服务于 ML-CSC 模型的阈值追踪，将 CNN 与 ML-CSC 模型紧密联系起来，为 CNN 带来了新的视角，同时也提出了一个与去卷积网络相关的前向通道替代方案，具有更好的理论保证。

    Jul, 2016

  • SBNet: 用于快速推断的稀疏块网络

    本文介绍了一种新型的基于拼贴的稀疏卷积算法，通过利用计算掩码的稀疏结构，降低了 CNN 中高分辨率计算的复杂度，并应用于基于 LiDAR 的 3D 目标检测中，最终获得了显著的速度提升而无需牺牲准确率。

    Jan, 2018

  • 使用稀疏卷积和指导剪枝加速 CNN

    本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法，包括一种有效的一般性稀疏 - 稠密矩阵乘法实现以及一种性能模型，可以预测不同层和不同计算机架构的稀疏水平的最佳值，该方法可在包括移动设备和超级计算机在内的各种处理器上实现 3.1-7.3 倍的卷积速度提升。

    Aug, 2016

  • SF-MMCN: 低功耗可重构服务器流卷积神经网络加速器

    利用并行结构提出的 SF-MMCN 设计，在面对 CNN 模型中的并行结构时实现了高效的操作和区域利用率，并取得了 76% 的能量节约、55% 的面积节约以及 9.25 倍和 4.92 倍的操作和区域利用效率提升。

    Mar, 2024

  • 卷积神经网络快速实时非重训练稀疏化

    本论文提出了三种无需重新训练即可进行卷积神经网络稀疏化的方法，研究表明，这些方法能够使得最先进的模型权重减少高达 73％（压缩因子为 3.7 倍），而最多只会损失 5％的 Top-5 精度，附加的微调只能获得 8％的稀疏度，这表明我们的快速稀疏化方法是有效的。

    Nov, 2018

  • YodaNN: 超低功耗二进制卷积神经网络加速架构

    本文介绍了一种用于二进制权重卷积神经网络的加速器，能够在 1.2V 下实现 1510 GOp/s 的运算，且在 0.6V 下消耗 895 μW 的功率。这个加速器比先前的最新技术在能量和面积效率方面都有很大的优势。

    Jun, 2016