Jul, 2024

利用时间尺度的异质性进行稀疏循环脉冲神经网络，以实现高效能边缘计算

HTML
PDF
TL;DR通过引入神经元和突触动态的异质性，本文结合了三项开创性的研究，从而革新了脉冲神经网络的性能。我们探索了异质性循环脉冲神经网络（HRSNNs）的转变性影响，支持严格的分析框架和新颖的修剪方法，如Lyapunov Noise Pruning（LNP）。我们的发现揭示了异质性不仅可以提高分类性能，而且还可以减少脉冲活动，从而实现更高效和更强大的网络。通过将理论洞见与实际应用结合起来，这个全面的摘要突显了脉冲神经网络在维持较低计算成本的同时超越传统神经网络的潜力。让我们一起领略为智能、高效的神经计算铺平道路的最前沿进展。
发现论文，激发创造
  • 多时间尺度脉冲循环神经网络的高效计算

    该研究介绍了一种新型自适应尖峰循环神经网络，能够在边缘人工智能硬件上实现比其他尖峰神经网络更高的性能，几乎达到或超过经典递归神经网络的性能，并展示了在更难的任务上超过经典递归神经网络的$>$100倍能量改进。

    May, 2020

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些SNN的计算效率比具有可比性能的RNN高出一到三个数量级，从而使SNN成为AI硬件实现的有吸引力的解决方案。

    Mar, 2021

  • AutoSNN:实现能效高的脉冲神经网络

    通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数，我们提出一种称为AutoSNN的脉冲感知神经架构搜索框架，成功搜索出了在准确性和能量效率方面优于手工设计的SNN的架构。

    Jan, 2022

  • 异质神经元和突触动力学实现高效率自主学习：理论与设计原则

    本文研究证明神经元和突触动态的异质性可以降低复杂神经网络的射击活动并提高预测性能，在无监督的学习中实现高效的射击，提高了神经网络的内存容量和分类预测性能。

    Feb, 2023

  • 利用噪声作为脉冲神经网络中计算和学习的资源

    本研究提出了噪声脉冲神经网络（NSNN）和噪声驱动学习规则（NDL），并将噪声引入到神经元动力学中，展示了噪声如何作为计算和学习的资源，并提供了一种理论框架。同时，NDL提供了一个替代梯度的合理性解释。结合各种SNN体系结构和算法，我们的方法表现出了竞争性能和鲁棒性，同时还证明了NSNN模型在神经编码研究中的实用性。此外，NSNN为机器学习从业者和计算神经科学研究人员提供了一个强大、灵活和易于使用的工具。

    May, 2023

  • 脉冲神经网络中的固有冗余

    我们提出了一种Advance Spatial Attention（ASA）模块来利用神经元网络（SNN）中的冗余功能，通过一对个体空间注意子模块来自适应优化其膜电位分布，从而准确调节噪声尖峰特征。实验结果表明，与最先进的SNN基准相比，所提出的方法显著减少了尖峰发射，并具有更好的性能。

    Aug, 2023

  • 可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

    神经形态计算及尤其是脉冲神经网络(SNNs)作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和/或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络(SNNs)。然后，我们讨论了算法-架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署SNN系统的研究前景，重点是算法-硬件-应用共设计领域的关键挑战，强调了可信性。

    Dec, 2023

  • 稀疏脉冲神经网络：利用时间尺度异质性进行修剪循环 SNN

    通过引入新颖的Lyapunov Noise Pruning (LNP)算法和利用各类散度来设计一个稳定的、计算效率高的、适用于不同任务的稀疏的异质RSNN模型，本文展示了相对于传统的基于活性剪枝的方法，该任务无关的方法可以增加RSNN的计算效率和预测性能。

    Mar, 2024

  • 基于稀疏性的脉冲神经网络硬件-软件协同设计：综述

    本文针对稀疏脉冲神经网络（SNN）在实现超低功耗人工智能中的效率问题，提出了一种硬件-软件协同设计的方法。研究表明，不同的稀疏表示、硬件架构及训练技术对硬件效率具有显著影响，并强调了在硬件设计中的适应性需求。本研究的最重要发现是，充分利用SNN的计算优势可以推动嵌入式神经形态系统的发展。

    Aug, 2024

  • 稀疏并行脉冲状态空间模型：学习长序列

    本研究解决了脉冲神经网络在长序列任务上的应用不足问题，提出了脉冲状态空间模型（SpikingSSMs），结合了状态空间模型的序列学习能力。研究结果表明，SpikingSSM在长范围基准任务中性能媲美先进的状态空间模型，同时实现了90%的网络稀疏性，并在语言建模任务中以较小的模型尺寸显著超越现有的脉冲大型语言模型，显示出其作为低计算成本LLM骨干架构的潜力。

    Aug, 2024