Nov, 2019

使用 ADMM 优化和活动规范化的综合 SNN 压缩

PDF
TL;DR对神经元网络进行压缩，能够在不影响功能的情况下提高运行效率。文章提出了一种深度学习模型压缩技术，通过针对网络的每个可压缩部分，实现神经元模型在 MNIST、N-MNIST、CIFAR10 和 CIFAR100 数据集上的模式识别任务，并取得了更好的结果。
发现论文，激发创造
  • 基于极小极大优化的稀疏神经网络资源受限模型压缩

    通过改进的端到端极值优化方法，我们在稀疏学习问题上更好地平衡了模型性能与计算效率，同时表明在各种基准数据集和架构上，联合压缩和微调脉冲神经网络 (SNNs) 比顺序压缩和微调更好，特别适用于极限压缩比。

    Aug, 2023

  • 基于脉冲活动修剪的高效深度脉冲神经网络构建

    基于脉冲神经网络（SNN）的结构稀疏化，提出了一种基于卷积核活动水平的结构删减方法，通过动态调整网络结构使其更适应当前目标任务，提高模型的适应性、降低计算负载和加速推理过程。

    Jun, 2024

  • 自适应稀疏结构的剪枝和再生在脉冲神经网络中的应用

    本文提出了一种适应性结构发展的 SNN 方法，引入树突棘突触可塑性、神经元修剪和突触再生，通过神经元修剪、突触限制和突触再生等机制，检测和移除了 SNN 的大量冗余，实现了优化压缩并降低网络能耗。在实验中表明，该方法可以在不同任务中学习适当的压缩率并显著降低网络能耗。

    Nov, 2022

  • ADMM-NN: 使用交替方向乘积算法的 DNN 的算法硬件协同设计框架

    研究对于 DNN 模型的压缩有两类深入了解，如权重修剪和量化；文章研究提出了第一个基于 ADMM 的 DNN 算法硬件协同优化框架 ADMM-NN，该框架可以最大化的提高优化性能以达到更高的 DNN 模型压缩比，并且在不损失准确性的情况下可以达到比以往更好的性能。

    Dec, 2018

  • Q-SNNs: 量化尖峰神经网络

    我们介绍了一种轻量级和硬件友好的量化 SNN（Q-SNN），该方法对突触权重和膜电位进行量化，显著减少内存使用和计算复杂性，提出了一种受信息熵理论启发的新的权重 - 脉冲双重调节（WS-DR）方法，实验证明我们的 Q-SNN 在模型大小和准确性方面优于现有方法，这些在效率和功效方面的最新成果表明该方法可以显着改善边缘智能计算。

    Jun, 2024

  • 降低活动性的蒸馏和正则化方法用于能源高效的脉冲神经网络

    利用知识蒸馏和梯度下降进行训练可以优化脉冲神经网络的性能和脉冲活动之间的平衡，同时激活正则化和逻辑回归方法可以减少网络的脉冲活动。

    Jun, 2024

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 渐进式 DNN 压缩：使用 ADMM 实现超高剪枝和量化率的关键

    通过 ADMM（Alternating Direction Methods of Multipliers）方法，本文提出了一种新的基于 DNN 模型的结构压缩框架，实现了在不损失精度的情况下对 Lenet-5，AlexNet 和 ResNet-50 模型分别达到 246x，36x 和 8x 的权重剪枝，并且在 AlexNet（ImageNet）中 61x 的权重剪枝只导致了细微精度下降，还引导出了重要的基于 ResNet 和 MobileNet 模型的权重剪枝结果以及全层次二进制化的 LeNet-5 和 ResNet 等。

    Mar, 2019

  • 低延迟脉冲神经网络的优化电位初始化

    通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

    Feb, 2022

  • 神经形态语言模型中的权重稀疏性与活动稀疏性相辅相成

    通过研究神经网络的活动稀疏性和参数稀疏性，探讨了在序列建模中将两者相结合的权重剪枝的效果，结果表明稀疏连接的基于事件的神经网络是有效和高效的序列建模模型。

    May, 2024