May, 2023

利用噪声作为脉冲神经网络中计算和学习的资源

HTML
PDF
TL;DR本研究提出了噪声脉冲神经网络（NSNN）和噪声驱动学习规则（NDL），并将噪声引入到神经元动力学中，展示了噪声如何作为计算和学习的资源，并提供了一种理论框架。同时，NDL提供了一个替代梯度的合理性解释。结合各种SNN体系结构和算法，我们的方法表现出了竞争性能和鲁棒性，同时还证明了NSNN模型在神经编码研究中的实用性。此外，NSNN为机器学习从业者和计算神经科学研究人员提供了一个强大、灵活和易于使用的工具。
发现论文，激发创造
  • 脉冲神经网络的梯度下降

    本研究提出了一种利用可微分脉冲神经网络模型的梯度下降方法，解决以往基于静态神经元的网络模型无法处理脉冲信号信息处理的问题。实验结果表明该方法可以优化脉冲神经网络的动态行为与行为时间的关系，并为基于脉冲信号的神经计算提供了通用的监督学习算法。

    Jun, 2017

  • 多时间尺度脉冲循环神经网络的高效计算

    该研究介绍了一种新型自适应尖峰循环神经网络，能够在边缘人工智能硬件上实现比其他尖峰神经网络更高的性能，几乎达到或超过经典递归神经网络的性能，并展示了在更难的任务上超过经典递归神经网络的$>$100倍能量改进。

    May, 2020

  • 脉冲神经网络 -- 第二部分：检测时空模式

    本文从认知神经科学方面入手，分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点，其中使用了概率模型和时间反向传播算法解决了部分难点，最后在神经元数据集上进行了对比实验.

    Oct, 2020

  • 使脉冲神经网络工作：稳健的类脑无监督机器学习

    该文章讨论了Spiking Neural Networks (SNNs)的局限性，介绍了一种方法来解决这些问题使用无监督学习来快速发现输入数据中的稀疏可识别特征，使SNNs成为一种使用未标记数据进行快速、准确、高效、可解释和可重新部署的机器学习的新方法。

    Aug, 2022

  • 异质神经元和突触动力学实现高效率自主学习：理论与设计原则

    本文研究证明神经元和突触动态的异质性可以降低复杂神经网络的射击活动并提高预测性能，在无监督的学习中实现高效的射击，提高了神经网络的内存容量和分类预测性能。

    Feb, 2023

  • 脉冲去噪扩散概率模型

    本文提出了一种新的基于脉冲神经网络的生成模型——SDDPM，通过仅使用4个时间步骤的纯脉冲U-Net体系结构，实现与其ANN模型的可比性能，从而充分利用脉冲神经网络的能源效率，并在CIFAR-10和CelebA数据集上实现了卓越的性能，是脉冲神经网络生成领域的重大进展。

    Jun, 2023

  • 共同学习脉冲神经网络中的突触延迟、权重和自适应

    通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征，本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强，进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。

    Sep, 2023

  • 可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

    神经形态计算及尤其是脉冲神经网络(SNNs)作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和/或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络(SNNs)。然后，我们讨论了算法-架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署SNN系统的研究前景，重点是算法-硬件-应用共设计领域的关键挑战，强调了可信性。

    Dec, 2023

  • 脉冲神经网络中的噪声适应器

    本研究介绍了一种名为“噪声适应器”的新技术，该技术可以在高仿真时间下隐式地优化低延迟脉冲神经网络的准确性，通过对ResNet模型的全面分析，在CIFAR-10上使用ResNet-18实现了95.95％的准确性，并在ImageNet上使用ResNet-50实现了74.37％的准确性，显著提高了低延迟SNN的峰值准确性与全精度ANN的准确性相当。

    Dec, 2023

  • 利用时间尺度的异质性进行稀疏循环脉冲神经网络，以实现高效能边缘计算

    通过引入神经元和突触动态的异质性，本文结合了三项开创性的研究，从而革新了脉冲神经网络的性能。我们探索了异质性循环脉冲神经网络（HRSNNs）的转变性影响，支持严格的分析框架和新颖的修剪方法，如Lyapunov Noise Pruning（LNP）。我们的发现揭示了异质性不仅可以提高分类性能，而且还可以减少脉冲活动，从而实现更高效和更强大的网络。通过将理论洞见与实际应用结合起来，这个全面的摘要突显了脉冲神经网络在维持较低计算成本的同时超越传统神经网络的潜力。让我们一起领略为智能、高效的神经计算铺平道路的最前沿进展。

    Jul, 2024