利用噪声作为脉冲神经网络中计算和学习的资源

May, 2023

利用噪声作为脉冲神经网络中计算和学习的资源

Exploiting Noise as a Resource for Computation and Learning in Spiking Neural Networks

Gehua Ma, Rui Yan, Huajin Tang

TL;DR本研究提出了噪声脉冲神经网络（NSNN）和噪声驱动学习规则（NDL），并将噪声引入到神经元动力学中，展示了噪声如何作为计算和学习的资源，并提供了一种理论框架。同时，NDL 提供了一个替代梯度的合理性解释。结合各种 SNN 体系结构和算法，我们的方法表现出了竞争性能和鲁棒性，同时还证明了 NSNN 模型在神经编码研究中的实用性。此外，NSNN 为机器学习从业者和计算神经科学研究人员提供了一个强大、灵活和易于使用的工具。

Abstract

Networks of spiking neurons underpin the extraordinary information-processing capabilities of the brain and have emerged as pillar models in neuromorphic intelligence. Despite extensive research on spiking neural networks (SNNs), most are established on deterministic models. Integratin

spiking neural networks neuronal dynamics noise-driven learning rule surrogate gradients neural coding

发现论文，激发创造

脉冲去噪扩散概率模型

本文提出了一种新的基于脉冲神经网络的生成模型 ——SDDPM，通过仅使用 4 个时间步骤的纯脉冲 U-Net 体系结构，实现与其 ANN 模型的可比性能，从而充分利用脉冲神经网络的能源效率，并在 CIFAR-10 和 CelebA 数据集上实现了卓越的性能，是脉冲神经网络生成领域的重大进展。

Jun, 2023

脉冲神经膜系统学习模型和脉冲神经网络的调查

脉冲神经网络（SNN）是一种受生物启发的神经网络模型，通过脉冲和脉冲列进行神经元之间的通信，与标准人工神经网络（ANN）不同。本文首先对比了 SNN 和脉冲神经 P 系统（SNPS）的结构、功能、优点和缺点，然后综述了 SNN 和 SNPS 形式化方法在机器学习和深度学习模型中的最新研究成果和应用。

Mar, 2024

噪声作为知识蒸馏中的学习资源

该研究探讨了在协作学习框架中添加噪声的效果，提出了三种方法来解决深度神经网络中的常见问题，并表明噪声可以作为学习资源来促进协作学习。

Oct, 2019

低功耗神经形态处理硬件

本文回顾了构建新一类仿效人脑以时间编码和处理信息的信息处理引擎所涉及的一些体系结构和系统级设计方面，以解决能效问题。

Jan, 2019

可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后，我们讨论了算法 - 架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署 SNN 系统的研究前景，重点是算法 - 硬件 - 应用共设计领域的关键挑战，强调了可信性。

Dec, 2023

基于直接学习的深度脉冲神经网络综述

本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

May, 2023

完全脉冲去噪扩散隐式模型

提出了一种基于脉冲神经网络的全脉冲去噪扩散隐式模型（FSDDIM）的方法，利用脉冲神经网络的高速和低能耗特性构建扩散模型，并通过突触电流学习实现扩散模型的生成过程，实验结果表明该方法优于最先进的全脉冲生成模型。

Dec, 2023

使用精心设计的输入噪声训练深度脉冲神经网络，发挥其固有鲁棒性的潜力（HIRE-SNN）

本文研究低延迟深度脉冲神经网络克服对抗攻击的训练算法，通过在输入层引入精心设计的噪声，已有的模型仅需进行微调即可达到防御攻击的效果，同时在分类性能、时延和计算能耗方面表现出色。

Oct, 2021

利用神经元和突触滤波器动态特性在深度脉冲神经网络的时空学习中实现利用

提出一种训练算法，将 SNN 作为无限脉冲响应（IIR）滤波器的网络，以学习 SNN 的时空模式，并构建用于合成和公共数据集的联想记忆和分类器，其准确度优于最先进的方法。

Feb, 2020

高效基于脉冲编码的图像去噪的神经信息编码

通过使用 Leaky Integrate and Fire 神经元，我们研究了脉冲神经网络在高斯去噪任务中的性能，结果表明相对于深度卷积神经网络，SNN 能够在降低计算负载的情况下提供有竞争力的去噪性能。

May, 2023