Aug, 2017

CirCNN：使用块循环权值矩阵加速和压缩深度神经网络

PDF
TL;DR该论文提出 CirCNN，一种使用块循环矩阵表示权重和处理神经网络的基于 FFT 快速乘法的方法，能够从 O（n2）减少计算复杂度并降低存储复杂度，同时保持准确性，并在 FPGA、ASIC 和嵌入式处理器上实现出较高的能效和性能表现。
deep neural networksenergy efficiencyweight pruningcircnnfast fourier transform
发现论文，激发创造
  • PERMDNN: 带有置换对角矩阵的高效压缩 DNN 架构

    本文提出了 PermDNN，一种新的方法来生成和执行硬件友好的结构稀疏 DNN 模型，使用置换对角线矩阵。与当前方法相比，PermDNN 具有更好的压缩效果、灵活的压缩比、简单的算术计算和全利用输入稀疏性的优势，并取得了更高的吞吐量和更好的能量效率。

    Apr, 2020

  • 在 FPGA 中使用结构化矩阵的高效循环神经网络

    本文基于块循环矩阵提出一种 FPGA 上实现高性能、高效能、准确率较高的 RNNs 的方法，其中包括模型压缩和加速等方面，与 ESE 相比，实现能效最大提升 35.7 倍。

    Mar, 2018

  • 深度学习系统的超高性能和能量效率：一种算法 - 硬件协同优化框架

    本文旨在实现深度神经网络硬件实现的超高能效和性能，提出一种面向不同类型、大小和应用场景的 DNN 算法 - 硬件协同优化框架，并在硬件部分采用高效的 FPGA 实现，实验表明与 IBM TrueNorth 处理器和参考的 FPGA 实现相比，该框架至少实现了 152 倍的加速和 71 倍的能效增益。

    Feb, 2018

  • PrivCirNet: 基于分块循环变换的高效隐私推导

    基于同态加密的深度神经网络推理提出了一种协议 / 网络协同优化框架 PrivCirNet，利用块循环转换将 DNN 权重转化为循环矩阵，通过自定义加密算法和降低计算开销实现了低延迟和高准确性，并在多个实验中展示了其优越性能。

    May, 2024

  • 在压缩权重空间中训练和生成神经网络

    本文旨在探讨使用离散余弦变换对循环神经网络的权重矩阵进行编码的方法，以提高算法的可扩展性和效率，并在 enwik8 数据集上进行了实验。

    Dec, 2021

  • 压缩卷积神经网络

    本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

    Jun, 2015

  • 权重容量约束下的量化神经网络设计

    通过改变神经网络的结构和权重的位数，本文比较了硬件实现中神经网络规模和权重量化对网络性能的影响，提出了在硬件资源有限的情况下，指导网络规模和权重精度平衡的有效压缩比。

    Nov, 2016

  • 基于循环投影的深度网络参数冗余探究

    本文提出了用循环矩阵代替全连接层中传统的线性投影来探索深度神经网络中参数冗余问题。该循环投影显著降低了存储占用并加速了计算速度，尤其对于现代深度卷积神经网络架构中包含 90% 以上参数的全连接层来说更为重要。作者还展示了该投影的梯度计算和优化可高效完成，并在三个标准数据集上进行了实验证明其存储空间和效率比传统神经网络结构有显著提升，同时误差率仅略微增加。

    Feb, 2015

  • C-LSTM：利用结构压缩技术在 FPGAs 上实现高效 LSTM

    本文提出了一种基于块循环矩阵的压缩方案，用于改善长短时记忆网络的 FPGA 实现效率，并将该方法应用于一个名为 C-LSTM 的综合框架，其精度损失很小。

    Mar, 2018

  • SCNN：压缩稀疏卷积神经网络加速器

    该论文介绍了一种名为 Sparse CNN 的卷积神经网络加速器体系结构，它可以通过利用 CNN 训练期间的网络修剪所产生的零值权重以及推理期间常见的 ReLU 算子产生的零值激活来提高性能和能源效率，从而减少数据传输和存储要求，并通过一种新型数据流方式有效地传递权重和激活值到乘法器阵列。该加速器在现代神经网络上可以将性能和能源效率分别提升 2.7 倍和 2.3 倍。

    May, 2017