Nov, 2023

脑启发式高效剪枝：利用脉冲神经网络中的关键性质

PDF
TL;DR本文提出了一种采用重建机制来高效获取关键修剪网络的方法，通过基于关键修剪结构的低成本度量，重新排名修剪结构并重建那些具有更高关键性的结构，实现了比现有方法更高的性能和加速度，同时研究了机制潜在机理并发现了其在恢复阶段能够高效选择潜在结构、学习一致的特征表示和减少过拟合。
spiking neural networks (snns)pruningregeneration mechanismcriticalityperformance
发现论文，激发创造
  • 自适应稀疏结构的剪枝和再生在脉冲神经网络中的应用

    本文提出了一种适应性结构发展的 SNN 方法，引入树突棘突触可塑性、神经元修剪和突触再生，通过神经元修剪、突触限制和突触再生等机制，检测和移除了 SNN 的大量冗余，实现了优化压缩并降低网络能耗。在实验中表明，该方法可以在不同任务中学习适当的压缩率并显著降低网络能耗。

    Nov, 2022

  • 基于脉冲活动修剪的高效深度脉冲神经网络构建

    基于脉冲神经网络（SNN）的结构稀疏化，提出了一种基于卷积核活动水平的结构删减方法，通过动态调整网络结构使其更适应当前目标任务，提高模型的适应性、降低计算负载和加速推理过程。

    Jun, 2024

  • 通过梯度重连修剪深度尖峰神经网络

    本文提出了一种基于神经系统突触发生和消失机制的梯度重连算法，用于 SNNs 中的连接性和权重优化，实现了对网络结构的优化而无需重新训练，实验结果表明，该方法能够在 MNIST 和 CIFAR-10 数据集上实现对 SNNs 性能的最小损失，并且在 0.73% 的连接性下，只有约 3.5% 的精度损失，具有优秀的结构优化能力。

    May, 2021

  • 基于 STDP 的脉冲神经网络连接剪枝和权重量化实现能效识别

    本研究提出了一种基于权重量化和剪枝的 SNN 压缩方法，该方法利用权值相关性的幂律分布规律来剪去不必要的神经元连接，并将重要的神经元连接的权重量化，以适配限制的电导级别，从而实现了对 SNN 网络的压缩。该方法在 MNIST 数据集和 Caltech-101 数据集的小规模图像分类中得到了应用，并表明了与 2 层全连接 SNN 拓扑相同的分类精度。

    Oct, 2017

  • 通过神经元选择对递归神经网络进行结构化剪枝

    通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

    Jun, 2019

  • 基于发育可塑性启发的深度脉冲和人工神经网络自适应修剪

    本文提出了一种发育可塑性启发的自适应剪枝方法，可以动态优化神经网络结构，使其学习效率和速度得到持续和显著的提高，尤其是对于神经形态学数据集的脉冲神经网络而言。

    Nov, 2022

  • 基于反向知识蒸馏的生物启发式结构学习与脉冲神经网络

    本文提出了一种基于进化算法的结构构建方法，通过集成知识蒸馏和连接修剪方法，优化 SNN 的突触连接以达到最优状态，并在 CIFAR100 和 DVS-Geste 上进行了实验，结果表明该方法可以在降低连接冗余的同时获得良好的性能。

    Apr, 2023

  • 脉冲爆发：针对基于事件的视觉任务的高效、高性能 SNNs

    通过引入生物神经系统启发的突发 - 尖峰机制、基于帕累托前沿驱动算法的再分配爆发 - 射击模式以及基于层特定敏感性自动定位最佳阈值比率的敏感性驱动尖峰压缩技术，在分类和目标检测方面展示出卓越的性能和降低的能量使用，从而推动了基于事件驱动视觉的脉冲神经网络的进展。

    Nov, 2023

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • SNNs 中的集成可塑性和网络适应性

    介绍了一种新的基于熵和网络激活的集成学习方法，该方法与仅使用尖峰活动操作的尖峰率神经元修剪技术相结合，用于处理两个脑电图数据集进行分类实验，结果表明这种修剪低尖峰率神经元群集导致更好的泛化能力。

    Mar, 2022