面向低功耗边缘智能的脉冲神经网络联邦神经形态学学习
本研究提出了一个分散的、保护隐私的 Spiking Neural Networks 训练框架,在 CIFAR10 和 CIFAR100 基准测试中,我们发现在联邦学习的大规模客户端下,相较于人工神经网络,Spiking Neural Networks 能够提供超过 15% 的总体准确性并达到多达 5.3 倍的能源效率。
Jun, 2021
通过比较不同的数据聚合方法,本文对包含传统人工神经网络(ANNs)和脉冲神经网络(SNNs)的联邦学习系统进行了评估,实验结果表明 CNN-SNN 融合框架在 MNIST 数据集上表现最好,并发现了多模型联邦学习收敛过程中的竞争抑制现象。
Jun, 2024
该研究探讨了脉冲神经网络(SNNs)和联邦学习(FL)在使用神经形态数据时受到后门攻击的脆弱性。研究发现,尽管 SNNs 的效率和 FL 的隐私优势使其在低功率设备上具有潜力,但这些系统容易受到此类攻击。研究采用了针对 SNNs 和 FL 定制的新型攻击策略,通过在时间和恶意设备之间分布后门触发器来增强攻击的有效性和隐蔽性,进一步证明了在部署 SNNs 和 FL 时需要稳健的安全措施。
Feb, 2024
本文提出了一种人工神经网络和脉冲神经网络之间联合训练的框架,其中人工神经网络可以引导脉冲神经网络的优化。我们通过多个网络分支将人工神经网络中的知识提炼到脉冲神经网络中,并限制了两者的参数,分享部分参数和学习不同的独立权重。在多项广泛的网络结构实验中,我们的方法始终表现出色,超越了许多其他最先进的训练方法。例如,在 CIFAR100 分类任务中,我们的方法训练的脉冲 ResNet-18 模型只需要 4 个时间步,就可以达到 77.39%的 top-1 准确率。
May, 2023
该研究通过初始化辅助 ANN 来解决 Spiking Neural Networks 的长转移期和状态衰减的问题,提出了一种 ANN-SNN 模型来实现高时间分辨率、低延迟和低功耗的预测。在 2D 和 3D 人体姿势估计任务中,与完全 ANN 相比,该方法性能下降仅为 4%,但功耗降低了 88%;与 SNN 相比,误差降低了 74%。
Mar, 2023
本文提出了一种新的基于 slimmable 神经网络的联邦学习框架(SlimFL),通过同时利用超级编码(SC)进行全局模型聚合和超级训练(ST)进行本地模型更新来交换多种宽度配置的超级位置解码,从而实现在通信效率和能量效率方面都较好并且能够处理非独立同分布数据分布和不良信道条件。
Mar, 2022
该文章讨论了 Spiking Neural Networks (SNNs) 的局限性,介绍了一种方法来解决这些问题使用无监督学习来快速发现输入数据中的稀疏可识别特征,使 SNNs 成为一种使用未标记数据进行快速、准确、高效、可解释和可重新部署的机器学习的新方法。
Aug, 2022
提出了一种新的云边框架解决复杂控制系统中的计算和能源限制问题,采用了基于脉冲神经网络 (SNN) 的学习型控制器在物理设备上实施。通过将生物学合理的学习方法与本地可塑性规则结合,我们利用 SNN 的高效性、可扩展性和低延迟,在设备上直接复制云端控制器的控制信号,减少了对常量植物 - 云通信的需求。植物仅在错误超过预定义阈值时更新权重,确保在各种条件下的效率和鲁棒性。在线性工作台系统和卫星交会等场景中(包括避障),我们的架构通过增加网络规模将归一化跟踪误差显著降低了 96%。由于 SNN 的事件驱动特性,其能源消耗最小,仅约为标准计算需求的 111 nJ(0.3%)。结果展示了系统对不断变化的工作环境的调整以及对计算和能源资源的高效利用,与非障碍场景相比,静态和动态障碍物的能源消耗分别增加了 27.2% 和 37%。
Apr, 2024
本文在通信工程中对脑神经元类似的尖峰神经网络(SNN)进行了研究,提出了一种类似于决策反馈均衡器(DFE)的基于 SNN 的均衡器,并展示了其相比于传统的线性均衡器在三个典型信道上明显的优化效果,为实现低功耗的通信系统提供了可行方案。
Nov, 2022