Jan, 2024

基于定点计算阵列的 DNN 加速器激活错误可靠性探索

PDF
TL;DR本文提出了一种全面的方法，用于探索和评估量化对模型准确性、激活故障可靠性和硬件效率的三方面影响。通过各种量化感知技术、故障注入和硬件实现，实现了全自动化的框架，并提出了一种轻量级保护技术，以确保最终基于系统阵列的 FPGA 实现的可靠部署。实验结果表明，量化对可靠性、硬件性能和网络准确性具有重要影响，特别是网络激活中的瞬态故障方面。
deep neural networksdnn acceleratorsquantizationreliabilityhardware performance
发现论文，激发创造
  • SAFFIRA: 用于评估基于 Systolic-Array 的 DNN 加速器可靠性的框架

    为 Systolic 阵列硬件加速器引入了一种新的层次化基于软件的硬件感知的故障注入策略，以解决可靠性评估的时间效率问题。

    Mar, 2024

  • 特别会议：DNN 加速器的逼近和容错性

    本文研究了 DNN 加速器的逼近计算和容错能力，提出使用逼近算术电路代替昂贵的故障注入检测，并开发了 GPU 模拟方法，同时通过网络故障的传播和掩蔽来实现精细化容错分析

    May, 2023

  • 激活稀疏量化深度神经网络中的存储错误：基于锐度感知训练的分析和缓解

    提高深度神经网络（DNN）加速器的硬件效率，例如采用量化和稀疏增强技术，显示了巨大的潜力。然而，在非理想的现实环境（例如存在硬件故障）中，它们的推理准确性尚未被系统地分析。本文研究了存储器故障对激活稀疏量化 DNN（AS QDNN）的影响，发现激活稀疏度较高会增加故障的脆弱性，导致 AS QDNN 的准确性比标准 QDNN 低达 11.13%。基于这一观察，我们采用了锐度感知量化（SAQ）训练以缓解存储器故障的影响，结果表明使用 SAQ 训练的 AS QDNN 和标准 QDNN 相比于传统训练方法，推理准确性分别提高了 19.50% 和 15.82%。此外，我们还表明 SAQ 训练的 AS QDNN 在故障环境中比传统训练方法的标准 QDNN 具有更高的准确性。因此，锐度感知训练可以在实现稀疏相关的延迟优势的同时保持容错性。

    Jun, 2024

  • DNN 加速器中权重存储器故障的影响缓解：基于故障感知量化的常见问题解答

    通过使用基于查找表的算法，提出了一种新的故障感知量化技术，可以在基本不会有成本开销的情况下减少深度神经网络加速器内的永久性故障的影响，并提高精度，同时与故障感知训练方法相比降低了开销。

    May, 2023

  • 基于相变存储器模拟硬件的深度神经网络量化以促进权重自校正

    近年来，硬件加速神经网络在边缘计算应用中引起了重视。在各种硬件选项中，交叉阵列为神经网络权重的高效存储和操作提供了有希望的途径。然而，从经过训练的浮点模型转向硬件约束的模拟体系结构仍然是一个挑战。在这项工作中，我们将一种专为这种体系结构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉栏连接来表示单个权重的正负部分，我们开发了一种算法来近似一组乘法权重。这些权重以及它们的差异旨在以最小的性能损失来表示原始网络的权重。我们使用 IBM 的 aihwkit 实现了这些模型，并随时间评估了它们的效力。我们的结果表明，当与芯片上的脉冲发生器配对时，我们的自校正神经网络在性能上与那些经过模拟感知算法训练的网络相当。

    Sep, 2023

  • DeepAxe：一种用于探索 DNN 加速器中近似和可靠性权衡的框架

    本文提出了一个基于 FPGA 的 DNN 加速器设计框架 DeepAxe, 考虑了准确性、可靠性和硬件性能之间的平衡，通过功能逼近来减少硬件平台的计算负担，为目标资源利用要求提供了一组 Pareto 最优的 DNN 实现设计空间点。

    Mar, 2023

  • 深度神经网络加速器中的量化和映射协同探索

    卷积神经网络（CNN）的能效和内存占用取决于权重量化策略和映射，通过启用丰富的混合量化方案，我们可以找到更有效利用硬件资源的映射，从而在精度、能耗和内存要求之间取得更好的平衡。通过扩展 Timeloop 工具，提出了一种高效的多目标优化算法，实证了该方法在两种 CNN 和两种加速器上的有效性，并证明了相对于未经精心优化的 CNN 实现，可以实现高达 37% 的能量节省，而无需降低精度。

    Apr, 2024

  • 跨层优化的容错深度学习

    提出了一种基于容错深度学习加速器的方法，通过对深度学习处理组件的建筑层和电路层进行选择性保护，降低由于冗余计算造成的开销，并通过优化设计参数在算法层、建筑层和电路层上减少硬件资源消耗，同时满足可靠性、准确性和性能等多个用户约束。

    Dec, 2023

  • FPGA 上高吞吐量混合精度 CNN 加速器设计

    本文研究了深度神经网络在 FPGA 上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度 CNN 的高效硬件加速器，能够达到高精度和高性能的权衡。

    Aug, 2022

  • 通过有选择性的神经元分裂提高 QNN 的容错性

    本文使用一种分析抗干扰性的新方法来评估量化神经网络，并提出了一种轻量级修正单元，用于修复其关键神经元的错误，其开销比选择性三模冗余法小一半，而实现类似的容错能力。

    Jun, 2023