基于极小极大优化的稀疏神经网络资源受限模型压缩
对神经元网络进行压缩,能够在不影响功能的情况下提高运行效率。文章提出了一种深度学习模型压缩技术,通过针对网络的每个可压缩部分,实现神经元模型在 MNIST、N-MNIST、CIFAR10 和 CIFAR100 数据集上的模式识别任务,并取得了更好的结果。
Nov, 2019
该论文提出了 tinySNN 框架,可通过减少操作、优化学习质量、量化参数和选择合适的模型来在保持准确性的前提下,优化 SNN 处理的内存和能源需求,并且通过不同的量化方案、精度级别和舍入方案探索不同的 SNN 参数来实现模型压缩,从而实现对于资源和能源受限的嵌入式应用的高精度高效压缩。
Jun, 2022
我们介绍了一种轻量级和硬件友好的量化 SNN(Q-SNN),该方法对突触权重和膜电位进行量化,显著减少内存使用和计算复杂性,提出了一种受信息熵理论启发的新的权重 - 脉冲双重调节(WS-DR)方法,实验证明我们的 Q-SNN 在模型大小和准确性方面优于现有方法,这些在效率和功效方面的最新成果表明该方法可以显着改善边缘智能计算。
Jun, 2024
本文提出了一种适应性结构发展的 SNN 方法,引入树突棘突触可塑性、神经元修剪和突触再生,通过神经元修剪、突触限制和突触再生等机制,检测和移除了 SNN 的大量冗余,实现了优化压缩并降低网络能耗。在实验中表明,该方法可以在不同任务中学习适当的压缩率并显著降低网络能耗。
Nov, 2022
在边缘计算领域的智能家具、机器人和智能家居等领域日益普及的背景下,本文介绍了 HyperSNN,这是一种将脉冲神经网络(SNNs)与超维计算相结合的创新控制任务方法。HyperSNN 通过将昂贵的 32 位浮点乘法替换为 8 位整数加法,降低能源消耗的同时增强了鲁棒性并可能提高准确性。我们的模型在包括 Cartpole、Acrobot、MountainCar 和 Lunar Lander 在内的 AI Gym 基准测试中进行了测试。HyperSNN 在控制精度上与传统机器学习方法相当,但仅使用了 1.36% 到 9.96% 的能量消耗。此外,我们的实验显示 HyperSNN 具有更强的鲁棒性。我们认为 HyperSNN 特别适用于交互式、移动和可穿戴设备,促进了能效和鲁棒系统设计的发展。此外,它为在实际工业场景中实现复杂算法如模型预测控制(MPC)铺平了道路。
Aug, 2023
该文介绍了将卷积神经网络转化为脉冲神经网络的方法,并探讨了量化感知的训练及优化策略对于能效的影响,实验表明转换后的网络在维持相似准确率的情况下具有更低的能量消耗。
Dec, 2019
本文提出了一种采用重建机制来高效获取关键修剪网络的方法,通过基于关键修剪结构的低成本度量,重新排名修剪结构并重建那些具有更高关键性的结构,实现了比现有方法更高的性能和加速度,同时研究了机制潜在机理并发现了其在恢复阶段能够高效选择潜在结构、学习一致的特征表示和减少过拟合。
Nov, 2023
本文研究了神经形态计算在两个不同的神经形态结构下,使用进化算法和多目标适应函数来缩小神经网络的体积,并提高其对硬件故障的适应能力。实验结果表明,该策略可以在减小神经网络体积的同时提高其抗故障性能。
Feb, 2020