Jun, 2024
激活稀疏量化深度神经网络中的存储错误：基于锐度感知训练的分析和缓解
Memory Faults in Activation-sparse Quantized Deep Neural Networks:
Analysis and Mitigation using Sharpness-aware Training
TL;DR提高深度神经网络（DNN）加速器的硬件效率，例如采用量化和稀疏增强技术，显示了巨大的潜力。然而，在非理想的现实环境（例如存在硬件故障）中，它们的推理准确性尚未被系统地分析。本文研究了存储器故障对激活稀疏量化DNN（AS QDNN）的影响，发现激活稀疏度较高会增加故障的脆弱性，导致AS QDNN的准确性比标准QDNN低达11.13%。基于这一观察，我们采用了锐度感知量化（SAQ）训练以缓解存储器故障的影响，结果表明使用SAQ训练的AS QDNN和标准QDNN相比于传统训练方法，推理准确性分别提高了19.50%和15.82%。此外，我们还表明SAQ训练的AS QDNN在故障环境中比传统训练方法的标准QDNN具有更高的准确性。因此，锐度感知训练可以在实现稀疏相关的延迟优势的同时保持容错性。