通过有选择性的神经元分裂提高 QNN 的容错性
本文研究了 DNN 加速器的逼近计算和容错能力,提出使用逼近算术电路代替昂贵的故障注入检测,并开发了 GPU 模拟方法,同时通过网络故障的传播和掩蔽来实现精细化容错分析
May, 2023
本文提出了一种全面的方法,用于探索和评估量化对模型准确性、激活故障可靠性和硬件效率的三方面影响。通过各种量化感知技术、故障注入和硬件实现,实现了全自动化的框架,并提出了一种轻量级保护技术,以确保最终基于系统阵列的 FPGA 实现的可靠部署。实验结果表明,量化对可靠性、硬件性能和网络准确性具有重要影响,特别是网络激活中的瞬态故障方面。
Jan, 2024
本研究分析了前馈深度神经网络 (FFDNN) 和卷积神经网络 (CNN) 的重训练对量化网络的影响,通过控制网络复杂度,发现高度复杂的 DNN 能够吸收严格的重量化影响并通过重训练提高性能,在硬件资源受限时提示了网络大小和精度之间的折衷。
Nov, 2015
提高深度神经网络(DNN)加速器的硬件效率,例如采用量化和稀疏增强技术,显示了巨大的潜力。然而,在非理想的现实环境(例如存在硬件故障)中,它们的推理准确性尚未被系统地分析。本文研究了存储器故障对激活稀疏量化 DNN(AS QDNN)的影响,发现激活稀疏度较高会增加故障的脆弱性,导致 AS QDNN 的准确性比标准 QDNN 低达 11.13%。基于这一观察,我们采用了锐度感知量化(SAQ)训练以缓解存储器故障的影响,结果表明使用 SAQ 训练的 AS QDNN 和标准 QDNN 相比于传统训练方法,推理准确性分别提高了 19.50% 和 15.82%。此外,我们还表明 SAQ 训练的 AS QDNN 在故障环境中比传统训练方法的标准 QDNN 具有更高的准确性。因此,锐度感知训练可以在实现稀疏相关的延迟优势的同时保持容错性。
Jun, 2024
在本文中,我们提出了一种新的框架来增强可训练的量子卷积神经网络(QuNNs)的性能,通过引入可训练的 quanvolutional 层并解决与其相关的关键挑战。我们的研究通过在这些层中实现训练,显著提高了 QuNNs 的灵活性和潜力。我们引入多个可训练的 quanvolutional 层,为基于梯度的优化引入了复杂性,并通过在层之间添加 skip 连接的残差学习概念,提出了一种新的架构 Residual Quanvolutional Neural Networks(ResQuNNs),从而解决了梯度访问的困难。通过在 QuNNs 中插入残差块,我们确保了网络中的增强梯度访问,从而提高了训练性能。通过广泛的实验,我们发现在 QuNNs 中合理放置残差块对于最大化性能提升至关重要。我们的发现对量子深度学习的发展和实际量子计算应用提供了新的途径。
Feb, 2024
本研究探讨了一种可扩展的量子神经网络(SQNN)方法,通过利用多个小型量子设备的量子资源来提高分类精度和训练效率。 对 MNIST 数据集进行的评估表明,相比于相同规模的常规 QNN 模型, SQNN 模型可以实现具有可比较的分类精度,并且超过一定量子资源的 SQNN 模型可以显著提高分类精度。
Aug, 2022
我们提出了一种真正的量子神经网络模型,其与传统的呈适应性中间层和节点的前馈神经网络具有相同的灵活性,并且具有较低的电路深度和所需的 C-NOT 门数量,从而优于现有的量子神经网络模型。通过对基准数据集进行测试,我们证明了我们的方法的优越性能,并且使用更少的量子资源要求,为将量子神经网络应用于实际相关的机器学习问题铺平了道路。
Feb, 2024
本文提出了一个理论框架,针对由替换编码电路块和可训练电路块组成的数据重新上传量子神经网络的表达能力进行研究,并证明了单量子比特量子神经网络可以通过将模型映射到部分傅里叶级数来逼近任何一元函数,并讨论了单量子比特本地 QNN 逼近多元函数的局限性。通过数值实验展示了单量子比特本地 QNN 的表达能力和局限性。
May, 2022
提出一种新型的可伸缩量子卷积神经网络 (sQCNN),并提供了一种名为反保真度训练 (RF-Train) 的训练算法用于提高 sQCNN 的性能。该网络为量子神经网络 (QNN) 的一种进化,拥有处理高维向量输入的能力,并且可以解决传统 QNN 的局限性。
Sep, 2022
QNNRepair 是一种用于修复量化神经网络的方法,通过软件故障定位方法识别神经元并将修复问题转化为线性规划问题,以纠正 QNN 在失败测试中的表现,并在不损害其通过测试中的表现的情况下,解决神经元权重参数的问题。实验证明,与现有方法相比,QNNRepair 可在大多数情况下有效提高量化模型的性能,特别适用于 ImageNet 数据集。
Jun, 2023