Dec, 2023

跨层优化的容错深度学习

PDF
TL;DR提出了一种基于容错深度学习加速器的方法，通过对深度学习处理组件的建筑层和电路层进行选择性保护，降低由于冗余计算造成的开销，并通过优化设计参数在算法层、建筑层和电路层上减少硬件资源消耗，同时满足可靠性、准确性和性能等多个用户约束。
fault-tolerant deep learning acceleratorvulnerability differenceselective protectionmodel quantizationcorrelated cross-layer design parameters
发现论文，激发创造
  • 容错深度学习：层次视角

    本综述从模型层、架构层、电路层和交叉层等不同角度，全面调查故障容错深度学习设计方法，以应对深度学习在自动驾驶和机器人等关键领域的可靠性挑战。

    Apr, 2022

  • 特别会议：DNN 加速器的逼近和容错性

    本文研究了 DNN 加速器的逼近计算和容错能力，提出使用逼近算术电路代替昂贵的故障注入检测，并开发了 GPU 模拟方法，同时通过网络故障的传播和掩蔽来实现精细化容错分析

    May, 2023

  • 邻居来自地狱：针对多租户 FPGAs 上深度学习加速器的电压攻击

    本文评估 DL 加速器在多租户 FPGA 场景下对基于电压的完整性攻击的安全性，并发现时序攻击并不能影响 DL 加速器的预测准确度，同时过时钟提速可以提高推断性能。

    Dec, 2020

  • 基于定点计算阵列的 DNN 加速器激活错误可靠性探索

    本文提出了一种全面的方法，用于探索和评估量化对模型准确性、激活故障可靠性和硬件效率的三方面影响。通过各种量化感知技术、故障注入和硬件实现，实现了全自动化的框架，并提出了一种轻量级保护技术，以确保最终基于系统阵列的 FPGA 实现的可靠部署。实验结果表明，量化对可靠性、硬件性能和网络准确性具有重要影响，特别是网络激活中的瞬态故障方面。

    Jan, 2024

  • 零开销的故障感知设计和训练以提高 DNN 的可靠性

    本文提出一种针对深度神经网络在训练和模型设计时提高其可靠性的解决方案，旨在解决硬件故障导致对模型预测出现错误等问题。在研究中通过 DNN 重新设计、重新训练等方式，提出三种零附加成本的解决方案，可以在一定程度上提高 DNNs 对于瞬态故障的可靠性，并通过广泛的消融研究量化了每种硬化组件的性能提升。

    May, 2022

  • 可重构分布式 FPGA 集群设计用于深度学习加速器

    基于低功耗的内嵌 FPGA 提出的分布式系统，可用于边缘计算应用，通过分布式调度优化深度学习负载以获得最佳性能，同时可以在多种配置下评估和管理神经网络工作负载。

    May, 2023

  • 神经加速器的硬件 / 软件学习式协同设计

    本文提出一种基于硬件 / 软件协同设计的新的约束贝叶斯优化框架，可以自动识别联合设计空间中的优化点，应用于各种神经模型，改善能量延迟产品的性能。

    Oct, 2020

  • 基于 FPGA 设计的基于 CNN 的目标检测器中混合数据流和混合精度的分层优化

    本文提出了一种针对卷积神经网络的硬件优化方案，该方案采用两种针对不同层次的特定优化法，实现不同的计算方式以提高性能，并在最大程度上减少了占用芯片的内存及对外部内存访问的需求，从而缓解了 CPU 的压力并大幅提升了处理速度。

    Sep, 2020

  • BayesFT: 基于贝叶斯优化的容错神经网络架构

    本文提出了使用贝叶斯优化来提高深度神经网络抗重量漂移性能的方法，并使用 dropout 来提高网络的鲁棒性。实验结果表明该方法在各种任务（例如图像分类和目标检测）中优于现有技术。

    Sep, 2022

  • 通过有选择性的神经元分裂提高 QNN 的容错性

    本文使用一种分析抗干扰性的新方法来评估量化神经网络，并提出了一种轻量级修正单元，用于修复其关键神经元的错误，其开销比选择性三模冗余法小一半，而实现类似的容错能力。

    Jun, 2023