Nov, 2022

基于发育可塑性启发的深度脉冲和人工神经网络自适应修剪

PDF
TL;DR本文提出了一种发育可塑性启发的自适应剪枝方法，可以动态优化神经网络结构，使其学习效率和速度得到持续和显著的提高，尤其是对于神经形态学数据集的脉冲神经网络而言。
developmental plasticityadaptive pruningspiking neural networksdeep artificial neural networksnetwork compression
发现论文，激发创造
  • 自适应稀疏结构的剪枝和再生在脉冲神经网络中的应用

    本文提出了一种适应性结构发展的 SNN 方法，引入树突棘突触可塑性、神经元修剪和突触再生，通过神经元修剪、突触限制和突触再生等机制，检测和移除了 SNN 的大量冗余，实现了优化压缩并降低网络能耗。在实验中表明，该方法可以在不同任务中学习适当的压缩率并显著降低网络能耗。

    Nov, 2022

  • SNNs 中的集成可塑性和网络适应性

    介绍了一种新的基于熵和网络激活的集成学习方法，该方法与仅使用尖峰活动操作的尖峰率神经元修剪技术相结合，用于处理两个脑电图数据集进行分类实验，结果表明这种修剪低尖峰率神经元群集导致更好的泛化能力。

    Mar, 2022

  • 基于脉冲活动修剪的高效深度脉冲神经网络构建

    基于脉冲神经网络（SNN）的结构稀疏化，提出了一种基于卷积核活动水平的结构删减方法，通过动态调整网络结构使其更适应当前目标任务，提高模型的适应性、降低计算负载和加速推理过程。

    Jun, 2024

  • 演化自组成神经网络：从自发活动到经验依赖学习

    基于神经发育程序的一类自组织神经网络模型，具有可塑性，并能从经历中学习和适应不同的控制任务。结果表明，在需要快速适应或具有非稳态奖励的环境中，结构可塑性是有益的。

    Jun, 2024

  • 脑启发式高效剪枝：利用脉冲神经网络中的关键性质

    本文提出了一种采用重建机制来高效获取关键修剪网络的方法，通过基于关键修剪结构的低成本度量，重新排名修剪结构并重建那些具有更高关键性的结构，实现了比现有方法更高的性能和加速度，同时研究了机制潜在机理并发现了其在恢复阶段能够高效选择潜在结构、学习一致的特征表示和减少过拟合。

    Nov, 2023

  • BP-STDP: 使用时序相关可塑性近似反向传播

    本文提出一种基于事件驱动的脉冲时序依赖可塑性 (Spike-Timing-Dependent Plasticity, STDP) 规则的监督学习方法，可以在保持计算精度的同时提高计算效率，特别适用于脉冲神经网络 (Spiking Neural Networks, SNNs)。实验结果表明，该方法可以较好地处理 XOR 问题、鸢尾花数据以及 MNIST 数据集，表现与传统神经网络相当，甚至比目前最先进的多层 SNNs 效果更好。

    Nov, 2017

  • 自适应网络剪枝

    本文提出了一种通过自适应网络剪枝方法（SANP）来降低卷积神经网络的计算成本。该方法引入了通用的显着性和剪枝模块（SPM）来为每个卷积层预测显着性评分，并且针对每个通道剪枝。在两个数据集和三个骨干的广泛实验中，SANP 在分类准确率和剪枝率方面都超过了最先进的方法。

    Oct, 2019

  • 使用生物合理奖励传播调整卷积脉冲神经网络

    该论文提出一种基于奖励传播的算法，该算法应用于脉冲神经网络（SNN）架构中的脉冲卷积和全连接层，该算法能够替代标准反向传播算法，实现对 SNN 的训练。使用该算法的 SNN 在空间和时间任务上的表现已经得到验证，达到了 BP-SNN 的类似准确度并节省了 50％的计算成本。

    Oct, 2020

  • 短期突触可塑性脉冲神经元形成更优秀的生成网络

    本文提出利用短期可塑性为脉冲神经网络提供与非脉冲神经网络不同的计算优势，并使用节约的局部突触可塑性模拟温度相关技术来解决网络计算困难性问题。这些网络在处理生成任务时表现出出色性能，在任务不平衡的情况下，它们甚至可以胜过传统算法。

    Sep, 2017

  • 基于反向知识蒸馏的生物启发式结构学习与脉冲神经网络

    本文提出了一种基于进化算法的结构构建方法，通过集成知识蒸馏和连接修剪方法，优化 SNN 的突触连接以达到最优状态，并在 CIFAR100 和 DVS-Geste 上进行了实验，结果表明该方法可以在降低连接冗余的同时获得良好的性能。

    Apr, 2023