Jul, 2024

在神经形态学和边缘 AI 硬件上有效部署混合 SNN

HTML
PDF
TL;DR本研究探讨了神经形态计算和边缘计算相结合的潜力，创建了一个适用于处理动态视觉传感器捕获数据的多功能机器学习系统。通过混合使用PyTorch和Lava框架构建和训练了混合模型，融合脉冲神经网络（SNNs）和人工神经网络（ANNs）。该研究还解决了在硬件上部署这种混合结构的挑战，并在Intel的神经形态处理器Loihi和Jetson Nano上部署了相应组件。此外，该研究在神经形态计算和边缘人工智能硬件的异构系统上进行了全面的性能分析，包括准确性、延迟、功耗和能源消耗。研究结果表明，混合脉冲神经网络在所有指标上均优于基准人工神经网络模型，并在准确性和延迟方面优于基准脉冲神经网络模型。
发现论文，激发创造
  • 低功耗神经形态处理硬件

    本文回顾了构建新一类仿效人脑以时间编码和处理信息的信息处理引擎所涉及的一些体系结构和系统级设计方面，以解决能效问题。

    Jan, 2019

  • 一种用于图像分割的脉冲神经网络

    本文研究了基于神经形态计算在计算机视觉领域中的可扩展性，为了实现在降低功耗的同时达到非神经形态计算的性能。我们将深度神经网络架构U-Net转化为脉冲神经网络架构，并采用ISBI 2D EM Segmentation数据集对其进行训练和优化。我们提出了一种优化多芯片网络部署的分区方法，并探讨了对定期发放率进行正则化以最小限度地减少精度损失和优化能量消耗的优势。最终在Intel Loihi神经形态芯片上进行的神经形态实现比传统硬件(CPU，GPU)在线运行时节省能源的倍数，同时在不牺牲网络的任务性能准确性的情况下实现了这些功率改进。

    Jun, 2021

  • 神经形态硬件上机器学习工作量的高效部署

    本文提供了一种将预先训练的深度神经网络(DNNs) 转换成脉冲神经网络(SNNs)的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与Intel Neural Compute Stick 2相比，使用我们的SNN改进技术， Intel 的神经形态处理器Loihi 在测试的图像分类任务中功耗降低了最多27倍，能耗降低了最多5倍。

    Oct, 2022

  • 深度学习加速的数字硬件视角：是否需要加速处理器？

    该研究比较了人工神经网络和脉冲神经网络的数字硬件加速技术和平台，以回答在设计新硬件时何时应参考大脑并何时应忽略的问题。

    Jun, 2023

  • SpikingJelly: 一个面向脉冲智能的开源机器学习基础设施平台

    该研究论文介绍了SpikingJelly框架，它是一个全套工具包，用于预处理神经形态学数据集、构建深度SNN、优化其参数并将其部署到神经形态芯片。通过SpikingJelly框架，深度SNN的训练速度可以加快11倍，且其卓越的可扩展性和灵活性使用户能够以较低成本通过多级继承和半自动代码生成加速定制模型。SpikingJelly为合成真正高能效的基于SNN的机器智能系统铺平了道路，丰富了神经形态计算的生态系统。

    Oct, 2023

  • 可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

    神经形态计算及尤其是脉冲神经网络(SNNs)作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和/或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络(SNNs)。然后，我们讨论了算法-架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署SNN系统的研究前景，重点是算法-硬件-应用共设计领域的关键挑战，强调了可信性。

    Dec, 2023

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改SNN整合-发射神经元模型和在训练ANN过程中使用细粒度L1正则化和替代梯度等方法，我们提出了一种新的ANN转SNN框架，可以以极低的时间步和高级稀疏性实现无损SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet数据集上只有4个时间步的准确率为73.30%）。

    Dec, 2023

  • 脉冲驱动Transformer V2：元脉冲神经网络架构启发下一代神经形态芯片的设计

    通过提出一种名为"Meta-SpikeFormer"的通用Transformer架构，本论文实现了对CNN-based SNNs具有压倒性性能优势的低功耗、多功能、高性能、面向未来下一代神经形态芯片设计的Meta架构，并应用于分类、检测和分割任务中，取得了SNN领域的最佳结果。

    Feb, 2024

  • HASNAS: 一种面向硬件的脉冲神经结构搜索框架，用于神经形态计算存储系统

    提出了一种专注于硬件感知的脉冲神经体系结构搜索框架HASNAS，用于神经形态的计算内存系统（CIM）中，以实现在给定的内存、面积、延迟和能耗约束下获得高准确度的脉冲神经网络(SNN)。

    Jun, 2024

  • 当内存计算遇到脉冲神经网络：设备-电路-系统与算法的协同设计视角

    本研究探讨了脉冲神经网络 (SNNs) 与模拟内存计算 (IMC) 之间的结合，针对低功耗边缘计算环境的巨大潜力展开讨论。通过深入分析设备、电路和系统层面，识别了由设备限制引起的关键系统瓶颈，并提出了相应的算法-硬件协同设计技术以优化性能。

    Aug, 2024