ICCVAug, 2023

MST 压缩：通过最小生成树压缩和加速二进制神经网络

PDF
TL;DR本文提出了一种名为最小生成树（MST）压缩的新方法，用于学习压缩和加速二值神经网络（BNNs），旨在降低计算成本和延迟，实验结果表明这种方法在资源受限的边缘计算设备上能够显著提高压缩比率并实现可忽略的准确度下降。
发现论文，激发创造
  • Sub-bit 神经网络：学习压缩和加速二进制神经网络

    介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和 FPGA 硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

    Oct, 2021

  • 通过稀疏核选择压缩二值神经网络

    本研究提出了一种通过学习二元核子空间内的非重复核来压缩典型的二进制神经网络模型的方法，通过 Gumbel-Sinkhorn 技术近似码字选择过程，在可比较的预算下实现了模型大小和计算成本的降低，并获得了与现有技术相比的精度提升。

    Mar, 2023

  • 基于极小极大优化的稀疏神经网络资源受限模型压缩

    通过改进的端到端极值优化方法，我们在稀疏学习问题上更好地平衡了模型性能与计算效率，同时表明在各种基准数据集和架构上，联合压缩和微调脉冲神经网络 (SNNs) 比顺序压缩和微调更好，特别适用于极限压缩比。

    Aug, 2023

  • 使用 ADMM 优化和活动规范化的综合 SNN 压缩

    对神经元网络进行压缩，能够在不影响功能的情况下提高运行效率。文章提出了一种深度学习模型压缩技术，通过针对网络的每个可压缩部分，实现神经元模型在 MNIST、N-MNIST、CIFAR10 和 CIFAR100 数据集上的模式识别任务，并取得了更好的结果。

    Nov, 2019

  • 基于算法、架构和数据流共同设计的高效稀疏 DNN 训练

    提出了一个计算高效的 N:M 稀疏深度神经网络（DNN）训练方案，包括算法、架构和数据流共同设计，并利用双向权重修剪方法和稀疏加速器实现了高效的 N:M 稀疏 DNN 训练，在几种 DNN 模型和数据集上的实验结果表明，在 2:8 稀疏比率下，该方案相对于密集训练可实现平均 1.75 倍的加速，准确度损失平均仅为 0.56%，在 FPGA 加速器上训练吞吐量提高了 2.97~25.22 倍，能效提高了 1.36~3.58 倍。

    Sep, 2023

  • 稀疏二进制压缩：实现最小通讯的分布式深度学习

    本文提出了一种基于稀疏二进制压缩（SBC）的通信框架，结合了通信延迟、梯度稀疏化和权重更新编码的方法来显著减少分布式训练的通信成本，并可以平衡梯度稀疏性和时间稀疏性以适应学习任务需求，实验表明在不明显降低正向和反向传递速度的情况下，基于 SBC 的框架可以将通信开销降至每个客户端 3.35 GB，这在使用更小的计算机网络时具有重要意义。

    May, 2018

  • 通过堆叠低维二进制卷积滤波器来压缩深度卷积神经网络

    本研究提出了一种新的模型压缩方法 —— 通过堆叠低维二进制卷积核来压缩深度卷积神经网络模型，从而实现比二进制 CNN 模型更高的压缩比，比现有方法维持相似精度。

    Oct, 2020

  • 稀疏二进制变换器用于多元时间序列建模

    通过应用稀疏和二元权重变换器在多变量时间序列问题上，我们表明轻量级模型能够获得与相同结构的稠密浮点变换器相当的准确性。我们的模型在分类、异常检测和单步预测三个时间序列学习任务上取得了良好的结果，并应用了两种修改以减少注意力机制的计算复杂度，从而大大减少变换器中非零操作的数量。我们在参数数量、存储大小和浮点运算量（FLOPs）等多个度量标准上测量了我们的方法的计算节约，并展示了高达 53 倍的存储大小减少和高达 10.5 倍的 FLOPs 减少。

    Aug, 2023

  • 改进的贝叶斯压缩

    本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

    Nov, 2017

  • CirCNN：使用块循环权值矩阵加速和压缩深度神经网络

    该论文提出 CirCNN，一种使用块循环矩阵表示权重和处理神经网络的基于 FFT 快速乘法的方法，能够从 O（n2）减少计算复杂度并降低存储复杂度，同时保持准确性，并在 FPGA、ASIC 和嵌入式处理器上实现出较高的能效和性能表现。

    Aug, 2017