Sep, 2023

脉冲神经网络结合课程学习策略的训练

PDF
TL;DR引入课程学习（Curriculum Learning）的 CL-SNN 模型旨在提高脉冲神经网络（Spiking Neural Networks）的生物学可行性，通过使用置信度感知损失来区分和处理具有不同难度级别的样本，模型自动减少难样本对参数优化的贡献，实验证明其有效性。
发现论文，激发创造
  • 课程设计助力脉冲神经网络对时间序列进行分类

    利用课程学习设计一种名为 CSNN 的新方法，研究其对脉冲神经网络（SNNs）的作用，实验证明课程学习对 SNNs 的影响比 ANNs 更为积极，可以通过增加网络稀疏性、神经元的激活状态、抗噪能力和收敛速度来提高约 3% 的 SNNs 准确率。

    Dec, 2023

  • 基于直接学习的深度脉冲神经网络综述

    本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

    May, 2023

  • 脉冲神经网络的时间对比学习

    本研究提出了一种时域监督对比学习的方法，可以使神经网络在处理时间序列信息时具备低延迟和高性能，取得了 CIFAR-10、CIFAR-100 和 DVS-CIFAR10 等数据集的最新性能水平。

    May, 2023

  • 探索尖峰神经网络中的连续学习

    通过比较传统模型和第三代机器学习模型（也称为脉冲神经网络架构）的连续学习能力，本研究发现脉冲神经网络模型在保留之前类别信息方面表现更优，但仍需要进行更多工作。

    Oct, 2023

  • SpikeCLIP：对比性语言 - 图像预训练脉冲神经网络

    通过双步骤配准预训练与双损失微调，该研究介绍了一种名为 SpikeCLIP 的新框架，用于解决基于脉冲计算的两种模态之间的差异，结果表明 SNN 在多模态模型评估中显著减少能耗，并且在包含未在特定类别中预定义的类标签的图像分类任务中保持稳健的性能。

    Oct, 2023

  • 超越分类：直接训练脉冲神经网络实现语义分割

    本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

    Oct, 2021

  • 脉冲神经网络深度学习

    该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

    Apr, 2018

  • 用于文本分类的脉冲卷积神经网络

    本研究介绍了一种用于文本分类的 “转换 + 微调” 两步方法，提出了一种将预训练词嵌入编码为脉冲训练的简单而有效的方式，并经验证通过使用替代梯度进行微调后，这些转换后的脉冲神经网络在英文和中文数据集上能够以更少的能量消耗与深度神经网络有可比较的结果，并且这样的脉冲神经网络比深度神经网络更鲁棒抵御对抗性攻击。

    Jun, 2024

  • 基于低活动度监督下的卷积脉冲神经网络应用于语音命令识别

    本文提出了一种使用 Leaky-Integrate-Fire (LIF) 神经元模型的堆叠扩张卷积脉冲层的模型，在保持非常稀疏的脉冲活动的情况下，可以在 Google SC v1 数据集上实现接近标准 DNN 的 5.5% 的误差率，证明了 SNNs 在语音识别方面的可行性。

    Nov, 2020

  • 易于训练和稳健性能的时间编码深度脉冲神经网络

    本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。

    Sep, 2019