研究量化对对抗性鲁棒性的影响

ICLRApr, 2024

Investigating the Impact of Quantization on Adversarial Robustness

Qun Li, Yuan Meng, Chen Tang, Jiacheng Jiang, Zhi Wang

TL;DR在这篇论文中，我们首次对 Post-Training Quantization 和 Quantization-Aware Training 的设置下，能够将鲁棒性优化纳入其中的量化流水线组件的影响进行了深入研究分析。通过我们的详细分析，我们发现不同研究中使用的不同流水线导致了这种不一致性，具体涉及是否执行鲁棒优化以及在哪个量化阶段执行。我们的研究结果为部署更安全、更鲁棒的量化网络提供了洞察，帮助从业者在高安全要求和有限资源的情况下进行参考。

Abstract

quantization is a promising technique for reducing the bit-width of deep models to improve their runtime performance and storage efficiency, and thus becomes a fundamental step for deployment. In real-world scenarios, quantized models are often faced with →

quantization adversarial attacks model robustness pipeline components robust optimization

发现论文，激发创造

量化模型强化测试

通过对 ImageNet 上的广泛实验，我们发现量化技术在部署深度神经网络时，虽然对于对抗性攻击具有更高的稳健性，但更容易受到自然噪声和系统噪声等噪声的影响。特别的，脉冲噪声和最邻近插值对量化模型影响最大，我们的研究有助于进一步提升模型的稳健性，使其能够在真实场景中部署应用。

Apr, 2023

低位宽量化对嵌入式神经网络对抗鲁棒性的影响

本文采用经典监督图像分类任务，研究了在不同威胁模型下量化神经网络的对抗鲁棒性，结果表明，量化不能提供任何强大的保护性，并提出了关于量化值偏移现象和梯度不对齐的假设以及如何利用基于集成的防御性能。

Sep, 2019

RobustMQ：量化模型鲁棒性性能评估

通过对 ImageNet 上的各种噪声（对抗性攻击、自然扰动和系统噪声）进行了全面评估，我们得出了关于量化模型在各种场景下的鲁棒性的宝贵见解：（1）量化模型在对抗性鲁棒性方面表现更好，但对自然扰动和系统噪声更加脆弱；（2）一般来说，增加量化位宽会导致对抗性鲁棒性降低，自然鲁棒性增强，系统鲁棒性增加；（3）在扰动方法中，由 extit {脉冲噪声} 和 extit {玻璃模糊} 对量化模型的影响最大，而 extit {亮度} 的影响最小；（4）在系统噪声中， extit {最近邻插值} 的影响最大，而双线性插值、立方插值和区域插值的影响最小。我们的研究推动了模型的鲁棒量化及其在实际场景中的部署。

Aug, 2023

基于转换器的文本分类器的量化对鲁棒性的影响

本文探讨了量化对基于 Transformer 模型的鲁棒性的影响，并通过对 BERT 和 DistilBERT 模型在文本分类中对 SST-2、Emotion 和 MR 数据集以及 TextFooler、PWWS 和 PSO 敌对攻击的评估，发现量化显著提高了模型的敌对准确性（提高平均 18.68%）。此外，与敌对训练方法相比，量化平均提高了 18.80% 的模型鲁棒性而无需额外的计算开销。因此，本研究结果强调了量化在提高 NLP 模型鲁棒性方面的有效性。

Mar, 2024

利用深度量化神经网络提高对抗攻击的鲁棒性

该研究旨在解决如何创建可部署在资源受限的嵌入式设备上的精确、稳健、小型的深度神经网络模型的挑战，并报告了使用自动量化感知训练框架 QKeras 训练的鲁棒性小型 DNN 模型的结果，该模型稳健性能显著优于现有基准测试。

Apr, 2023

鲁棒量化：一模型掌控全局

本文提出了一种基于理论论证的神经网络量化方法，实现了针对多种数据类型和量化策略下模型鲁棒性的内在鲁棒性，能够存储一种通用模型并在不同的位宽和量化策略下进行操作，并在不同的 ImageNet 模型中验证了该方法的有效性。

Feb, 2020

零样本对抗量化

本文提出了一个零样本敌对量化（ZAQ）框架，利用两级子空间分别描述数据分布的不同特征，通过生成对抗网络驱动生成器合成出优化量化模型的多样性数据示例，实现对全精度模型到其量化模型的有效差异估计和知识转移。在三个基本的视觉任务上进行了广泛实验，证实了 ZAQ 在零样本量化方面的卓越性，并验证了其主要组成部分的有效性。

Mar, 2021

使用随机量化和信息理论集成训练提高量化深度神经网络对白盒攻击的鲁棒性

通过引入可微分的随机量化器，通过多个不同的量化神经网络学习输入图像的不同表示，提高量化过的深度神经网络对白盒对抗攻击的鲁棒性。在不同威胁模型上进行统一分析，通过相关性将互信息和准确率结合，检测攻击并生成鲁棒性图谱。

Nov, 2023

深度神经网络自适应量化

本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

Dec, 2017

神经网络量化白皮书

介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

Jun, 2021