Jun, 2023

ESL-SNNs：针对脉冲神经网络的进化结构学习策略

PDF
TL;DR本文提出了一种名为 ESL-SNN 的高效进化结构学习框架，用于实现从头开始的稀疏 SNN 训练，通过探索时间上的所有可能参数，使 ESL-SNN 可以有效地学习具有稀疏结构的 SNN 并降低精度损失，从而具有在低功耗和小内存使用量下进行 SNN 轻量级培训和推理的巨大潜力。
spiking neural networkssparse trainingevolutionary structure learningsynaptic connectionspower consumption
发现论文，激发创造
  • 基于反向知识蒸馏的生物启发式结构学习与脉冲神经网络

    本文提出了一种基于进化算法的结构构建方法，通过集成知识蒸馏和连接修剪方法，优化 SNN 的突触连接以达到最优状态，并在 CIFAR100 和 DVS-Geste 上进行了实验，结果表明该方法可以在降低连接冗余的同时获得良好的性能。

    Apr, 2023

  • 自适应稀疏结构的剪枝和再生在脉冲神经网络中的应用

    本文提出了一种适应性结构发展的 SNN 方法，引入树突棘突触可塑性、神经元修剪和突触再生，通过神经元修剪、突触限制和突触再生等机制，检测和移除了 SNN 的大量冗余，实现了优化压缩并降低网络能耗。在实验中表明，该方法可以在不同任务中学习适当的压缩率并显著降低网络能耗。

    Nov, 2022

  • 脑启发的脉冲神经网络的进化架构

    通过自然进化形成的人脑复杂而独特的神经网络拓扑结构使其能够同时执行多个认知功能，本文通过引入模块化结构和全局互连性来进化脉冲神经网络的架构，同时提出一种高性能、高效能、低能耗的多目标进化算法，通过对静态数据集和神经形态数据集的广泛实验证明了所提出模型的能效提升和稳定优异的性能，并初步探索了人脑生物神经网络的进化机制。

    Sep, 2023

  • SPENSER：面向卷积脉冲神经网络的神经进化方法

    该论文提出了 SPENSER，一个基于 DENSER 的 SNN 自动设计与参数化的 Neuroevolution 框架，用于在 MNIST 和 Fashion-MNIST 数据集上进行图像分类，可以生成表现出色的网络。

    May, 2023

  • 基于脉冲活动修剪的高效深度脉冲神经网络构建

    基于脉冲神经网络（SNN）的结构稀疏化，提出了一种基于卷积核活动水平的结构删减方法，通过动态调整网络结构使其更适应当前目标任务，提高模型的适应性、降低计算负载和加速推理过程。

    Jun, 2024

  • AutoSNN: 实现能效高的脉冲神经网络

    通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数，我们提出一种称为 AutoSNN 的脉冲感知神经架构搜索框架，成功搜索出了在准确性和能量效率方面优于手工设计的 SNN 的架构。

    Jan, 2022

  • EEGSN: 基于图峰值神经网络的脑电解码高效低延迟实现

    我们提出了一种基于图的神经脉冲网络结构来进行多通道脑电图分类的方法（Graph Spiking Neural Network architecture for multi-channel EEG classification）。相较于目前最先进的 SNN（Spiking Neural Network），我们的方法提高了计算效率，降低了计算复杂度，并在运动执行分类任务中取得了与当前方法相当的准确性。

    Apr, 2023

  • 深度脉冲神经网络的多尺度进化神经架构搜索

    本论文提出了一种基于大脑多尺度拓扑结构的多尺度进化神经架构搜索算法 (MSE-NAS)，通过基于神经激发的间接评估函数 (表示不同矩阵 RDMs) 演化单个神经元操作，从而得到具有卓越可扩展性和迁移性的 SNN 架构。实验结果表明，该算法在静态数据集 (CIFAR10, CIFAR100) 和神经形态数据集 (CIFAR10-DVS 和 DVS128-Gesture) 上均取得了最新技术水平 (SOTA) 的性能表现，而不需要训练，同时不影响在不同尺度上的生物解释性。

    Apr, 2023

  • Q-SNNs: 量化尖峰神经网络

    我们介绍了一种轻量级和硬件友好的量化 SNN（Q-SNN），该方法对突触权重和膜电位进行量化，显著减少内存使用和计算复杂性，提出了一种受信息熵理论启发的新的权重 - 脉冲双重调节（WS-DR）方法，实验证明我们的 Q-SNN 在模型大小和准确性方面优于现有方法，这些在效率和功效方面的最新成果表明该方法可以显着改善边缘智能计算。

    Jun, 2024

  • 脉冲神经网络的神经结构搜索

    本文利用神经结构搜索技术，提出了一种新型的神经元架构设计方法，以在时序处理、二进制信息传输等方面提高脉冲神经网络（SNN）的性能，实验结果表明，所创建的 SNASNet 结构在多项图像识别测试中表现出优秀的性能，且具有高效能的特性。

    Jan, 2022