本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过MNIST、CIFAR-10、SVHN、ImageNet和Penn Treebank数据集的测试，结果表明1位权重和2位激活的量化版本的AlexNet能够达到51%的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得QNN的运行速度能比未优化的GPU加速速度快七倍，并且没有影响分类准确性。

Sep, 2016

本篇论文研究了深度神经网络的低精度模型的训练方法，探讨了在小型设备上训练深度神经网络的难点，提出了一种理论视角下的量化训练方法，并探索了非凸问题下的算法行为模型。

Jun, 2017

本论文介绍了一种将QNN推理操作转换为整数推理操作的流程，以及一些基于比特串处理技术的方法，以常见的按位操作有效地部署QNN。作者展示了QNN在移动CPU上的潜力，并提供了一个比特串矩阵乘法库。

Sep, 2017

本文采用经典监督图像分类任务，研究了在不同威胁模型下量化神经网络的对抗鲁棒性，结果表明，量化不能提供任何强大的保护性，并提出了关于量化值偏移现象和梯度不对齐的假设以及如何利用基于集成的防御性能。

Sep, 2019

本文研究了神经网络量化模型的鲁棒性问题，并发现其在面对基于梯度的对抗攻击时存在梯度消失的问题，提出一种简单的温度缩放方法以减轻该问题，该方法在多个数据集与网络结构上表现出比现有方法更好的性能表现。

Mar, 2020

我们提出了BatchQuant，这是一种稳健的量化器公式，可在数量少得多的GPU小时内训练出一种超过10^{76}个量化子网的紧凑超网，并首次无需重新训练即可无缝扩展一次权重共享NAS超网以支持任意超低位宽混合精度量化策略的子网。

May, 2021

本文研究了在保证噪声攻击后的量化神经网络的训练和认证问题，并提出了一个能够完全利用 GPU 加速的 QA-IBP 训练方法和验证流程，大大优于现有方法，已成为量化神经网络鲁棒性训练和认证新的标准。

Nov, 2022

本研究使用恶意软件数据集 ClaMP，对传统的神经网络（NN）和量子神经网络（QNN）进行对抗攻击试验。结果发现，机器学习（ML）和量子机器学习（QML）模型均易受对抗攻击影响，尽管 QNN 在攻击后的精度和召回率方面表现更好，但准确率下降得更为显着。此研究为后续增强 ML 和 QML 模型（尤其是 QNN）的安全性和韧性打下了基础。

May, 2023

在这篇论文中，我们首次对Post-Training Quantization和Quantization-Aware Training的设置下，能够将鲁棒性优化纳入其中的量化流水线组件的影响进行了深入研究分析。通过我们的详细分析，我们发现不同研究中使用的不同流水线导致了这种不一致性，具体涉及是否执行鲁棒优化以及在哪个量化阶段执行。我们的研究结果为部署更安全、更鲁棒的量化网络提供了洞察，帮助从业者在高安全要求和有限资源的情况下进行参考。

Apr, 2024

提高深度神经网络（DNN）加速器的硬件效率，例如采用量化和稀疏增强技术，显示了巨大的潜力。然而，在非理想的现实环境（例如存在硬件故障）中，它们的推理准确性尚未被系统地分析。本文研究了存储器故障对激活稀疏量化DNN（AS QDNN）的影响，发现激活稀疏度较高会增加故障的脆弱性，导致AS QDNN的准确性比标准QDNN低达11.13%。基于这一观察，我们采用了锐度感知量化（SAQ）训练以缓解存储器故障的影响，结果表明使用SAQ训练的AS QDNN和标准QDNN相比于传统训练方法，推理准确性分别提高了19.50%和15.82%。此外，我们还表明SAQ训练的AS QDNN在故障环境中比传统训练方法的标准QDNN具有更高的准确性。因此，锐度感知训练可以在实现稀疏相关的延迟优势的同时保持容错性。

Jun, 2024