Apr, 2023

RescueSNN：在永久性故障下使脉冲神经网络加速器可靠执行

PDF
TL;DR介绍了使用专用硬件以提高 Spiking Neural Network 的性能和能源效率，但由于永久性故障可能会损坏权重存储器和神经元行为，导致系统故障和精度下降。提出了一种名为 RescueSNN 的新方法来解决这个问题，该方法通过有效的故障感知映射（FAM）和轻量级硬件增强实现 SNN 故障容错，从而显著降低了设计时间和重新训练成本，同时保持吞吐量和质量。实验结果显示，相比于没有进行 EEC 诊断和修复的芯片运行 SNN，使用 RescueSNN 可以提高精度并降低吞吐量的下降。
发现论文，激发创造
  • EnforceSNN: 基于近似 DRAM 的嵌入式系统中实现具有韧性和节能的脉冲神经网络推理

    本文提出了一种名为 EnforceSNN 的新型设计框架，通过降低 DRAM 供电电压，通过采用量化权重、高效的 DRAM 映射策略、分析神经网络容错性、开发高效的容错训练机制以及选择网络模型优化网络精度、内存和能量消耗等机制，实现在嵌入式系统中 SNN 推断的鲁棒能量效率，同时进行了实验验证。

    Apr, 2023

  • DNN 加速器中权重存储器故障的影响缓解：基于故障感知量化的常见问题解答

    通过使用基于查找表的算法，提出了一种新的故障感知量化技术，可以在基本不会有成本开销的情况下减少深度神经网络加速器内的永久性故障的影响，并提高精度，同时与故障感知训练方法相比降低了开销。

    May, 2023

  • 特别会议：DNN 加速器的逼近和容错性

    本文研究了 DNN 加速器的逼近计算和容错能力，提出使用逼近算术电路代替昂贵的故障注入检测，并开发了 GPU 模拟方法，同时通过网络故障的传播和掩蔽来实现精细化容错分析

    May, 2023

  • 高效内存可逆脉冲神经网络

    我们提出可逆脉冲神经网络以降低训练过程中中间激活和膜电位的内存成本，通过实验证明我们的可逆 SNN 网络在网络深度上不增加每张图片的内存成本，并比现有模型在准确性和消耗的 GPU 内存方面表现更好。

    Dec, 2023

  • SpikingJET：增强全连接和卷积脉冲神经网络的故障注入

    通过对关键组件施加错误和注入故障，本文介绍了一种专为全连接和卷积脉冲神经网络设计的新型故障注入器 SpikingJET。通过对各种脉冲神经网络架构进行广泛的软件级实验，该论文展示了 SpikingJET 的有效性，并揭示了脉冲神经网络对硬件故障的脆弱性和韧性，进一步凸显了脉冲神经网络的故障韧性对于提高神经网络驱动系统在不同领域中的可靠性和安全性所起到的重要作用。

    Mar, 2024

  • 基于 ReRAM 的 PIM 加速器上的故障感知的 GNN 训练

    本文提出了一种故障感知的框架 FARe，用于在存在故障情况下减轻训练图神经网络的影响，该框架在准确性和时间开销方面优于现有方法。实验结果表明，相比无故障情况下的对比系统，FARe 框架可以在故障的 ReRAM 硬件上只增加约 1% 的时间开销，将 GNN 测试准确率提高 47.6%。

    Jan, 2024

  • 通过剩余膜电位减少 ANN-SNN 转换误差

    本文提出了一种基于剩余膜电位的优化策略，旨在降低脉冲到达时间序列下 SNNs 中不平衡误差，从而达到与 ANNs 等效水平的性能，实验结果表明该策略在复杂数据集 ImageNet 上取得了最先进的性能，例如在 10 步之内达到了 64.32% 的准确率。

    Feb, 2023

  • 基于功耗的尖峰神经网络故障注入攻击分析

    该研究探讨使用全局故障注入攻击和外部电源以及激光光束的影响来破坏普通模拟神经元上孢发挥关键作用的参数。在针对数字分类任务时，最坏情况下可能导致分类准确性降低 85.65%，并提出了相应的防御策略和检测系统。

    Apr, 2022

  • 零开销的故障感知设计和训练以提高 DNN 的可靠性

    本文提出一种针对深度神经网络在训练和模型设计时提高其可靠性的解决方案，旨在解决硬件故障导致对模型预测出现错误等问题。在研究中通过 DNN 重新设计、重新训练等方式，提出三种零附加成本的解决方案，可以在一定程度上提高 DNNs 对于瞬态故障的可靠性，并通过广泛的消融研究量化了每种硬化组件的性能提升。

    May, 2022

  • 具备反向残差连接、随机 Softmax 和混合化的可扩展、高效和准确的深度脉冲神经网络

    本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术，以提高学习能力，并取得与传统深度学习 / 人工神经网络相媲美的准确性，同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。

    Oct, 2019