本文回顾了构建新一类仿效人脑以时间编码和处理信息的信息处理引擎所涉及的一些体系结构和系统级设计方面,以解决能效问题。
Jan, 2019
神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法,已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始,旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后,我们讨论了算法 - 架构共设计方面的最新研究成果,探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后,我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是,我们描述了一种混合方法,即在内存组件和传感器本身中整合模型计算的重要部分。最后,我们讨论了构建可部署 SNN 系统的研究前景,重点是算法 - 硬件 - 应用共设计领域的关键挑战,强调了可信性。
Dec, 2023
本文研究了脉冲神经网络的训练方法,将其应用于 CIFAR10 和 ImageNet 数据集中,并采用量化和扰动方式增强其稳健性,最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。
Sep, 2019
提出一种训练算法,将 SNN 作为无限脉冲响应(IIR)滤波器的网络,以学习 SNN 的时空模式,并构建用于合成和公共数据集的联想记忆和分类器,其准确度优于最先进的方法。
Feb, 2020
基于时间编码的 ANN 到 SNN 转换方法 Quartz 在神经形态硬件上实现了高分类准确性,通过时间编码在功耗、吞吐量和延迟方面具有优势。
Sep, 2023
本文介绍了一种针对 Leaky Integrate and Fire 神经元的高效训练算法,该算法能够训练 SNN 学习复杂的时空模式,并且通过与硬件结合的方式,展示了神经元和突触基于忆阻器的网络实现的原理及优点。
Apr, 2021
本文从认知神经科学方面入手,分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点,其中使用了概率模型和时间反向传播算法解决了部分难点,最后在神经元数据集上进行了对比实验.
Oct, 2020
该研究论文介绍了 SpikingJelly 框架,它是一个全套工具包,用于预处理神经形态学数据集、构建深度 SNN、优化其参数并将其部署到神经形态芯片。通过 SpikingJelly 框架,深度 SNN 的训练速度可以加快 11 倍,且其卓越的可扩展性和灵活性使用户能够以较低成本通过多级继承和半自动代码生成加速定制模型。SpikingJelly 为合成真正高能效的基于 SNN 的机器智能系统铺平了道路,丰富了神经形态计算的生态系统。
Oct, 2023
本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术,以提高学习能力,并取得与传统深度学习 / 人工神经网络相媲美的准确性,同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。
Oct, 2019
通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法,我们提出了一种新的 ANN 转 SNN 框架,可以以极低的时间步和高级稀疏性实现无损 SNN,低延迟,低计算能耗和高测试准确性(例如,ImageNet 数据集上只有 4 个时间步的准确率为 73.30%)。