脉冲神经网络中的固有冗余
通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数,我们提出一种称为 AutoSNN 的脉冲感知神经架构搜索框架,成功搜索出了在准确性和能量效率方面优于手工设计的 SNN 的架构。
Jan, 2022
介绍了一种新的基于熵和网络激活的集成学习方法,该方法与仅使用尖峰活动操作的尖峰率神经元修剪技术相结合,用于处理两个脑电图数据集进行分类实验,结果表明这种修剪低尖峰率神经元群集导致更好的泛化能力。
Mar, 2022
本文利用神经结构搜索技术,提出了一种新型的神经元架构设计方法,以在时序处理、二进制信息传输等方面提高脉冲神经网络(SNN)的性能,实验结果表明,所创建的 SNASNet 结构在多项图像识别测试中表现出优秀的性能,且具有高效能的特性。
Jan, 2022
本文提出了一种基于适应性尖峰神经元的调整尖峰神经网络(ASNN),使用形式化的异步脉冲 Sigma-Delta 编码有效地对脉冲列进行信息编码,同时通过调节发放率进行神经元适应性,紧密耦合了神经适应性与突触可塑性,用尖峰神经元替换标准前馈人工神经网络中的 ReLU 神经元,成功地应用于分类 MNIST 数据集的深度卷积神经网络。
Sep, 2016
通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法,我们提出了一种新的 ANN 转 SNN 框架,可以以极低的时间步和高级稀疏性实现无损 SNN,低延迟,低计算能耗和高测试准确性(例如,ImageNet 数据集上只有 4 个时间步的准确率为 73.30%)。
Dec, 2023
神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法,已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始,旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后,我们讨论了算法 - 架构共设计方面的最新研究成果,探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后,我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是,我们描述了一种混合方法,即在内存组件和传感器本身中整合模型计算的重要部分。最后,我们讨论了构建可部署 SNN 系统的研究前景,重点是算法 - 硬件 - 应用共设计领域的关键挑战,强调了可信性。
Dec, 2023
本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络,将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平,并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级,从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。
Mar, 2021
本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术,以提高学习能力,并取得与传统深度学习 / 人工神经网络相媲美的准确性,同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。
Oct, 2019
我们介绍了一种轻量级和硬件友好的量化 SNN(Q-SNN),该方法对突触权重和膜电位进行量化,显著减少内存使用和计算复杂性,提出了一种受信息熵理论启发的新的权重 - 脉冲双重调节(WS-DR)方法,实验证明我们的 Q-SNN 在模型大小和准确性方面优于现有方法,这些在效率和功效方面的最新成果表明该方法可以显着改善边缘智能计算。
Jun, 2024