May, 2022

零开销的故障感知设计和训练以提高 DNN 的可靠性

PDF
TL;DR本文提出一种针对深度神经网络在训练和模型设计时提高其可靠性的解决方案，旨在解决硬件故障导致对模型预测出现错误等问题。在研究中通过 DNN 重新设计、重新训练等方式，提出三种零附加成本的解决方案，可以在一定程度上提高 DNNs 对于瞬态故障的可靠性，并通过广泛的消融研究量化了每种硬化组件的性能提升。
deep neural networksreliabilitytransient faultshardening solutionsdnn re-design
发现论文，激发创造
  • 容错深度学习：层次视角

    本综述从模型层、架构层、电路层和交叉层等不同角度，全面调查故障容错深度学习设计方法，以应对深度学习在自动驾驶和机器人等关键领域的可靠性挑战。

    Apr, 2022

  • 深度神经网络硬件故障攻击中的无恩劣化

    本研究探讨了硬件攻击给神经网络的参数带来的影响及其耐受能力，发现大部分模型对单一位比特翻转都有 10% 以上的分类精度下降，结果揭示了神经网络鲁棒性的局限性并提出了未来的研究方向。

    Jun, 2019

  • 特别会议：DNN 加速器的逼近和容错性

    本文研究了 DNN 加速器的逼近计算和容错能力，提出使用逼近算术电路代替昂贵的故障注入检测，并开发了 GPU 模拟方法，同时通过网络故障的传播和掩蔽来实现精细化容错分析

    May, 2023

  • DNN 加速器中权重存储器故障的影响缓解：基于故障感知量化的常见问题解答

    通过使用基于查找表的算法，提出了一种新的故障感知量化技术，可以在基本不会有成本开销的情况下减少深度神经网络加速器内的永久性故障的影响，并提高精度，同时与故障感知训练方法相比降低了开销。

    May, 2023

  • 基于 ReRAM 的 Transformer 语言模型的零空间成本容错技术

    本文提出了一种零空间成本的容错机制，通过可微结构修剪、权重复制和投票以及嵌入最显著位（MSBs）到模型权重中，有效减少了硬件故障对模型预测的影响，并通过在 GLUE 基准的九个任务上使用 BERT 模型进行实验验证了该方法的有效性。

    Jan, 2024

  • 强缺陷神经形态硬件鲁棒训练方法的实验演示

    硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

    Dec, 2023

  • 测试前向神经网络训练程序

    该论文提出了一种名为 TheDeepChecker 的端到端基于属性的调试方法，以检测深度神经网络训练程序中的编码错误和系统失配，并表明其在检测准确性和深度学习故障覆盖面方面优于 Amazon SageMaker Debugger（SMD）的离线规则验证。

    Apr, 2022

  • 深度神经网络的噪声响应分析评估其稳健性和结构恶意软件指纹

    本文提出了一种快速特征生成技术，可以对深度神经网络进行快速的安全检测，尤其是可以在几秒钟内检测出所谓的后门 (backdoors)，并且无需大量计算资源和训练数据。

    Jul, 2020

  • eFAT: 提高 DNN 硬件加速器容错训练效果以减轻永久故障

    本文提出一种名为 eFAT 的新型框架，它采用鲁棒性驱动的重新选择训练量和分组，以及多种错误映射的融合，从而显著降低了针对多个有故障芯片的 DNN 进行调优时的重新训练成本。

    Apr, 2023

  • 基于参数容易受损强化和修剪的卷积神经网络的成本效益容错

    本文介绍了一种适用于卷积神经网络的模型级加固方法，通过将纠错直接集成到神经网络中来提高其容错性。该方法与硬件无关且不需要对底层加速器设备进行任何更改。通过分析参数的脆弱性，该方法能够复制一些选择性的滤波器 / 神经元，以便通过高效且稳健的纠错层有效地对其输出通道进行纠正。该方法与基于 TMR 的修复几乎具有相当的容错性能，但开销显著减少。此外，还提出了一种基于参数脆弱性的经济实惠的剪枝技术，优于传统的剪枝方法，能够生成更小且精度损失可忽略的网络。值得注意的是，经过加固的剪枝型卷积神经网络的性能比经过加固但未剪枝的网络快达 24%。

    May, 2024