Jun, 2024

用于文本分类的脉冲卷积神经网络

PDF
TL;DR本研究介绍了一种用于文本分类的 “转换 + 微调” 两步方法，提出了一种将预训练词嵌入编码为脉冲训练的简单而有效的方式，并经验证通过使用替代梯度进行微调后，这些转换后的脉冲神经网络在英文和中文数据集上能够以更少的能量消耗与深度神经网络有可比较的结果，并且这样的脉冲神经网络比深度神经网络更鲁棒抵御对抗性攻击。
spiking neural networksenergy-efficienttext classificationpre-trained word embeddingsadversarial attacks
发现论文，激发创造
  • 超越分类：直接训练脉冲神经网络实现语义分割

    本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

    Oct, 2021

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021

  • SNNLP: 使用脉冲神经网络的高能效自然语言处理

    通过对比不同的文本编码方法，并在下游的情感分析任务中评估每种方法在相关的脉冲神经网络中的性能，我们提出了一种新的文本编码方法，其在基准的自然语言处理任务上优于一种广泛使用的速率编码技术，峰值率编码，性能提升了约 13%。此外，我们证明了在情感分析任务中，与传统深度神经网络相比，实施在硬件中的脉冲神经网络的能源效率提高了 32 倍以上。

    Jan, 2024

  • 易于训练和稳健性能的时间编码深度脉冲神经网络

    本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。

    Sep, 2019

  • 将传统人工神经网络转化为脉冲神经网络的最优方案

    本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

    Feb, 2021

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • 基于直接学习的深度脉冲神经网络综述

    本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

    May, 2023

  • 模拟到脉冲卷积神经网络的转换理论与工具

    研究论文提出了一种将深度卷积神经网络（CNNs）转化为深度脉冲神经网络（SNNs）的新方法，并将该方法运用于常见的 CNN 操作（如最大池化、softmax 和批量归一化）的实现上，在实验中，该方法在 MNIST 和 CIFAR10 基准测试中表现出了迄今为止最佳的 SNN 结果。

    Dec, 2016

  • 深入研究直接训练更大尺寸的脉冲神经网络

    提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

    Oct, 2020

  • 脉冲图卷积网络

    本文提出了 SpikingGCN，一个将 GCN 的嵌入与 SNN 的生物保真特性整合在一起的端到端框架，实现了在众多场景中能够达到竞争水平的性能，同时在神经形态芯片上实现了能效的优势，展示了其建立环境友好的机器学习模型的巨大潜力。

    May, 2022