Jun, 2024

降低活动性的蒸馏和正则化方法用于能源高效的脉冲神经网络

PDF
TL;DR利用知识蒸馏和梯度下降进行训练可以优化脉冲神经网络的性能和脉冲活动之间的平衡，同时激活正则化和逻辑回归方法可以减少网络的脉冲活动。
spiking neural networksenergy-efficientknowledge distillationspiking activityactivations regularization
发现论文，激发创造
  • 通过知识蒸馏从人工神经网络构建深度脉冲神经网络

    本文提出了一种新的方法，利用知识蒸馏构建深度 SNN 模型，通过利用 ANN 作为教师模型和 SNN 作为学生模型进行联合训练算法，可以更加有效地构建深层脉冲神经网络结构，并且在与不可微分波形的通信时，仍然能够避免从零开始训练 SNN，并且具有良好的噪声免疫能力。

    Apr, 2023

  • 基于脉冲活动修剪的高效深度脉冲神经网络构建

    基于脉冲神经网络（SNN）的结构稀疏化，提出了一种基于卷积核活动水平的结构删减方法，通过动态调整网络结构使其更适应当前目标任务，提高模型的适应性、降低计算负载和加速推理过程。

    Jun, 2024

  • LaSNN: 深度脉冲神经网络中的有效高效培训之层级 ANN 到 SNN 蒸馏

    通过引入 attention 机制和采用分层知识蒸馏的方法，提出了新的 SNN 训练框架 LaSNN，实现了与 ANN 比较的竞争性准确率和比转换的 SNN 快 20 倍的推理速度，并且具有灵活性和可扩展性。

    Apr, 2023

  • Joint A-SNN: 通过自蒸馏和权重分解联合训练人工神经网络和脉冲神经网络

    本文提出了一种人工神经网络和脉冲神经网络之间联合训练的框架，其中人工神经网络可以引导脉冲神经网络的优化。我们通过多个网络分支将人工神经网络中的知识提炼到脉冲神经网络中，并限制了两者的参数，分享部分参数和学习不同的独立权重。在多项广泛的网络结构实验中，我们的方法始终表现出色，超越了许多其他最先进的训练方法。例如，在 CIFAR100 分类任务中，我们的方法训练的脉冲 ResNet-18 模型只需要 4 个时间步，就可以达到 77.39％的 top-1 准确率。

    May, 2023

  • 基于时空一致性的自蒸馏学习用于脉冲神经网络

    脉冲神经网络 (SNNs) 通过事件驱动、低功耗特性和高生物解释性而引起了广泛关注。本文通过知识蒸馏 (KD) 提高了预训练教师模型的 SNN 模型性能，同时探索了一种经济高效的自我蒸馏学习方法，即时间 - 空间自我蒸馏 (TSSD) 学习方法。实验证明该方法在多个数据集上具有卓越的性能，为高性能 SNN 学习方法提供了新的融合思路。

    Jun, 2024

  • 使用 ADMM 优化和活动规范化的综合 SNN 压缩

    对神经元网络进行压缩，能够在不影响功能的情况下提高运行效率。文章提出了一种深度学习模型压缩技术，通过针对网络的每个可压缩部分，实现神经元模型在 MNIST、N-MNIST、CIFAR10 和 CIFAR100 数据集上的模式识别任务，并取得了更好的结果。

    Nov, 2019

  • 将传统人工神经网络转化为脉冲神经网络的最优方案

    本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

    Feb, 2021

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • 超越分类：直接训练脉冲神经网络实现语义分割

    本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

    Oct, 2021

  • 训练二值化深度神经网络时规范激活分布

    本文提出使用分布损失来规范激活流，成功改善了二值神经网络训练中遇到的退化、饱和和梯度失配等问题，并在不影响其能量效率的同时，提高了其准确性。此外，该规范化方法还能使训练过程更加稳健。

    Apr, 2019