使用随机量化和信息理论集成训练提高量化深度神经网络对白盒攻击的鲁棒性

Nov, 2023

使用随机量化和信息理论集成训练提高量化深度神经网络对白盒攻击的鲁棒性

Improving the Robustness of Quantized Deep Neural Networks to White-Box Attacks using Stochastic Quantization and Information-Theoretic Ensemble Training

PDF

Saurabh Farkya, Aswin Raghavan, Avi Ziskind

TL;DR通过引入可微分的随机量化器，通过多个不同的量化神经网络学习输入图像的不同表示，提高量化过的深度神经网络对白盒对抗攻击的鲁棒性。在不同威胁模型上进行统一分析，通过相关性将互信息和准确率结合，检测攻击并生成鲁棒性图谱。

Abstract

Most real-world applications that employ deep neural networks (DNNs) quantize them to low precision to reduce the compute needs. We present a method to improve the robustness of quantized DNNs to white-box

deep neural networks quantization adversarial attacks stochastic quantizer robustness

发现论文，激发创造

利用深度量化神经网络提高对抗攻击的鲁棒性

该研究旨在解决如何创建可部署在资源受限的嵌入式设备上的精确、稳健、小型的深度神经网络模型的挑战，并报告了使用自动量化感知训练框架 QKeras 训练的鲁棒性小型 DNN 模型的结果，该模型稳健性能显著优于现有基准测试。

Apr, 2023

使用随机量化学习准确的低比特深度神经网络

本文介绍了一种用于学习准确的低比特深度神经网络的随机量化算法，其逐渐将网络量化，并可显著提高在不同数据集和结构上的低比特深度神经网络的准确度，适用于嵌入式应用。

Aug, 2017

量化模型强化测试

通过对 ImageNet 上的广泛实验，我们发现量化技术在部署深度神经网络时，虽然对于对抗性攻击具有更高的稳健性，但更容易受到自然噪声和系统噪声等噪声的影响。特别的，脉冲噪声和最邻近插值对量化模型影响最大，我们的研究有助于进一步提升模型的稳健性，使其能够在真实场景中部署应用。

Apr, 2023

RobustMQ：量化模型鲁棒性性能评估

通过对 ImageNet 上的各种噪声（对抗性攻击、自然扰动和系统噪声）进行了全面评估，我们得出了关于量化模型在各种场景下的鲁棒性的宝贵见解：（1）量化模型在对抗性鲁棒性方面表现更好，但对自然扰动和系统噪声更加脆弱；（2）一般来说，增加量化位宽会导致对抗性鲁棒性降低，自然鲁棒性增强，系统鲁棒性增加；（3）在扰动方法中，由 extit {脉冲噪声} 和 extit {玻璃模糊} 对量化模型的影响最大，而 extit {亮度} 的影响最小；（4）在系统噪声中， extit {最近邻插值} 的影响最大，而双线性插值、立方插值和区域插值的影响最小。我们的研究推动了模型的鲁棒量化及其在实际场景中的部署。

Aug, 2023

通过固定和动态量化激活函数来防御深度神经网络对抗性示例

本研究发现神经网络量化和抵御对抗攻击这两条不同的路线可以合并，提出了动态量化激活方法以训练鲁棒神经网络，并在 MNIST 和 CIFAR-10 数据集上的广泛实验证明了该方法能够有效提高深度神经网络的鲁棒性。

Jul, 2018

低位宽量化对嵌入式神经网络对抗鲁棒性的影响

本文采用经典监督图像分类任务，研究了在不同威胁模型下量化神经网络的对抗鲁棒性，结果表明，量化不能提供任何强大的保护性，并提出了关于量化值偏移现象和梯度不对齐的假设以及如何利用基于集成的防御性能。

Sep, 2019

VQUNet：量化向量 U-Net 对抗异常攻击的正则化抑制非理想噪声

引入一种新颖的噪声减小过程 Vector Quantization U-Net（VQUNet），以提供更好的鲁棒性和超越其他最先进的基于噪声减小的防御方法，对抗各种敌对攻击。

Jun, 2024

大卫与歌利亚：QNNs 在深度边缘的攻击和防御的实证评估

边缘计算和微控制器 (MCUs) 上的量化和对抗示例在深度边缘上的有效性进行了实证评估。量化增加了决策边界的点距离，并导致某些攻击估计的梯度爆炸或消失，同时量化能够增强或减弱噪声，导致梯度失调。尽管输入预处理防御在小扰动上效果显著，但在扰动增加时表现不佳，而基于训练的防御方法可以增加决策边界的平均点距，并且在量化后仍然有效，但我们认为基于训练的防御仍需解决量化偏移和梯度失调的问题以对抗对 QNNs 的敌对示例可迁移性。

Apr, 2024

QuantAttack：利用动态量化对抗视觉转换器

该论文介绍了 QuantAttack，一种针对量化模型的新型威胁方法，通过精心设计的对抗样本耗尽操作系统资源，导致最坏情况性能，从而减慢推理速度，增加内存使用和能量消耗，实验证明了针对视觉转换器的攻击在各种任务中的有效性，包括单模态和多模态，并研究了不同攻击变种和模型之间的可转移性。

Dec, 2023

攻击二值化神经网络

利用低精度的神经网络进行量化，可以通过减少内存消耗和优化位运算实现更高的效率。本文提出低精度神经网络的第三个优点是在一些对抗攻击中有更好的鲁棒性，最坏情况下的表现也可以与高精度模型媲美。作者着重于量化权重和激活到 +-1 的非缩放二进制神经网络，在黑盒和白盒实验中探究其应对逐步攻击的能力。该方法可以在不人为掩盖梯度的情况下保证模型的安全性。

Nov, 2017