Apr, 2023

eFAT: 提高 DNN 硬件加速器容错训练效果以减轻永久故障

PDF
TL;DR本文提出一种名为 eFAT 的新型框架，它采用鲁棒性驱动的重新选择训练量和分组，以及多种错误映射的融合，从而显著降低了针对多个有故障芯片的 DNN 进行调优时的重新训练成本。
fault-aware trainingpermanent faultsresilience-driven retrainingefatdnn accelerator
发现论文，激发创造
  • DNN 加速器中权重存储器故障的影响缓解：基于故障感知量化的常见问题解答

    通过使用基于查找表的算法，提出了一种新的故障感知量化技术，可以在基本不会有成本开销的情况下减少深度神经网络加速器内的永久性故障的影响，并提高精度，同时与故障感知训练方法相比降低了开销。

    May, 2023

  • 基于 ReRAM 的 PIM 加速器上的故障感知的 GNN 训练

    本文提出了一种故障感知的框架 FARe，用于在存在故障情况下减轻训练图神经网络的影响，该框架在准确性和时间开销方面优于现有方法。实验结果表明，相比无故障情况下的对比系统，FARe 框架可以在故障的 ReRAM 硬件上只增加约 1% 的时间开销，将 GNN 测试准确率提高 47.6%。

    Jan, 2024

  • EF-Train: FPGA 上通过数据重塑实现高效的 CNN 设备端训练以进行在线适应或个性化

    本研究设计的 EF-Train 是一种高效的 DNN 训练加速器，通过数据重塑，并建立自动计算和内存资源调度的分析模型，在低功耗边缘级 FPGA 上实现端到端的训练，最终达到了 46.99 GFLOPS 和 6.09GFLOPS/W 的吞吐量和能量效率。

    Feb, 2022

  • 零开销的故障感知设计和训练以提高 DNN 的可靠性

    本文提出一种针对深度神经网络在训练和模型设计时提高其可靠性的解决方案，旨在解决硬件故障导致对模型预测出现错误等问题。在研究中通过 DNN 重新设计、重新训练等方式，提出三种零附加成本的解决方案，可以在一定程度上提高 DNNs 对于瞬态故障的可靠性，并通过广泛的消融研究量化了每种硬化组件的性能提升。

    May, 2022

  • RescueSNN：在永久性故障下使脉冲神经网络加速器可靠执行

    介绍了使用专用硬件以提高 Spiking Neural Network 的性能和能源效率，但由于永久性故障可能会损坏权重存储器和神经元行为，导致系统故障和精度下降。提出了一种名为 RescueSNN 的新方法来解决这个问题，该方法通过有效的故障感知映射（FAM）和轻量级硬件增强实现 SNN 故障容错，从而显著降低了设计时间和重新训练成本，同时保持吞吐量和质量。实验结果显示，相比于没有进行 EEC 诊断和修复的芯片运行 SNN，使用 RescueSNN 可以提高精度并降低吞吐量的下降。

    Apr, 2023

  • 特别会议：DNN 加速器的逼近和容错性

    本文研究了 DNN 加速器的逼近计算和容错能力，提出使用逼近算术电路代替昂贵的故障注入检测，并开发了 GPU 模拟方法，同时通过网络故障的传播和掩蔽来实现精细化容错分析

    May, 2023

  • BayesFT: 基于贝叶斯优化的容错神经网络架构

    本文提出了使用贝叶斯优化来提高深度神经网络抗重量漂移性能的方法，并使用 dropout 来提高网络的鲁棒性。实验结果表明该方法在各种任务（例如图像分类和目标检测）中优于现有技术。

    Sep, 2022

  • 利用剪枝和差分交叉栅映射提高基于 ReRAM 的边缘 AI 的 DNN 容错性

    本文提出了一种差分映射方案，以提高 ReRAM 的容错性，实现无需大规模优化的负载裁剪技术，从而在代表性 DNN 任务中容忍几乎高达一个数量级的故障率，而不需要额外的硬件成本。

    Jun, 2021

  • 跨层优化的容错深度学习

    提出了一种基于容错深度学习加速器的方法，通过对深度学习处理组件的建筑层和电路层进行选择性保护，降低由于冗余计算造成的开销，并通过优化设计参数在算法层、建筑层和电路层上减少硬件资源消耗，同时满足可靠性、准确性和性能等多个用户约束。

    Dec, 2023

  • 利用不确定性指纹进行神经网络的并行自检

    在这篇论文中，我们提出了一种代表神经网络在线故障状态的不确定性指纹方法，同时提出了一种双头神经网络拓扑结构，可以在一次推理过程中产生不确定性指纹和主要预测结果，从而实现高覆盖率的并发自测试神经网络，减少内存开销，降低错误率。

    Jan, 2024