Apr, 2020

PERMDNN: 带有置换对角矩阵的高效压缩 DNN 架构

PDF
TL;DR本文提出了 PermDNN，一种新的方法来生成和执行硬件友好的结构稀疏 DNN 模型，使用置换对角线矩阵。与当前方法相比，PermDNN 具有更好的压缩效果、灵活的压缩比、简单的算术计算和全利用输入稀疏性的优势，并取得了更高的吞吐量和更好的能量效率。
deep neural networkmodel compressionpermdnnstructured sparse dnn modelshardware-friendly
发现论文，激发创造
  • CirCNN：使用块循环权值矩阵加速和压缩深度神经网络

    该论文提出 CirCNN，一种使用块循环矩阵表示权重和处理神经网络的基于 FFT 快速乘法的方法，能够从 O（n2）减少计算复杂度并降低存储复杂度，同时保持准确性，并在 FPGA、ASIC 和嵌入式处理器上实现出较高的能效和性能表现。

    Aug, 2017

  • 基于张量分解的 DNN 模型压缩及优化框架

    本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

    Jul, 2021

  • 压缩深度神经网络的高效推理引擎 EIE

    本文提出了一种名为 EIE 的能效推理引擎，可以对压缩的神经网络模型进行推理，并通过重复使用权重来加速结果的稀疏矩阵 - 向量乘法，从而实现显著的能效提升。

    Feb, 2016

  • 深度学习系统的超高性能和能量效率：一种算法 - 硬件协同优化框架

    本文旨在实现深度神经网络硬件实现的超高能效和性能，提出一种面向不同类型、大小和应用场景的 DNN 算法 - 硬件协同优化框架，并在硬件部分采用高效的 FPGA 实现，实验表明与 IBM TrueNorth 处理器和参考的 FPGA 实现相比，该框架至少实现了 152 倍的加速和 71 倍的能效增益。

    Feb, 2018

  • DDC-PIM: 将 SRAM 内存中的处理与内存功效合并以提高数据处理能力的高效算法 / 架构共同设计

    提出了一种名为 DDC-PIM 的算法 / 架构协同设计方法，通过最大化每个 SRAM 单元的数据容量，有效地使等效数据容量翻倍，相较于 PIM 基准实现，DDC-PIM 在 MobileNetV2 上达到 2.84 倍加速，在 EfficientNet-B0 上达到 2.69 倍加速，无明显准确度损失，并且与最先进的基于 SRAM 的 PIM 宏相比，DDC-PIM 在重量密度和面积效率上分别达到 8.41 倍和 2.75 倍的改善。

    Oct, 2023

  • 在 FPGA 中使用结构化矩阵的高效循环神经网络

    本文基于块循环矩阵提出一种 FPGA 上实现高性能、高效能、准确率较高的 RNNs 的方法，其中包括模型压缩和加速等方面，与 ESE 相比，实现能效最大提升 35.7 倍。

    Mar, 2018

  • Permutohedral Lattice CNNs

    本文提出了一种卷积层，能够处理稀疏的输入特征。它利用 Permiutohedral 网格数据结构实现了一个波透镜卷积算法，从而使得卷积神经网络具有更广泛的应用场景。

    Dec, 2014

  • 通过半结构化激活稀疏化加速深度神经网络

    通过在计算通用矩阵乘法（GEMM）时考虑激活的最终位置，我们设计了一种稀疏训练过程，以诱导可利用的半结构化激活稀疏性，并在图像分类和目标检测任务中对其进行了广泛评估，结果显示在 ImageNet 数据集上，我们的方法在 ResNet18 模型上实现了 1.25 倍的加速，并仅有 1.1% 的最小精度降低；另外，与先进的结构化剪枝方法相结合，得到的模型在延迟和准确性之间取得了很好的平衡，优于仅采用结构化剪枝技术的模型。

    Sep, 2023

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • NeuralMatrix：将整个神经网络转换为通用矩阵乘法以实现高效推断

    本研究提出了一种新的框架 NeuralMatrix，可以在一个单一的通用矩阵乘法加速器上计算多功能的深度神经网络，同时在性能和特定应用的加速水平方面与 CPU 和 GPU 等通用处理器相比具有优势。

    May, 2023