利用深度量化神经网络提高对抗攻击的鲁棒性

Apr, 2023

利用深度量化神经网络提高对抗攻击的鲁棒性

Improving Robustness Against Adversarial Attacks with Deeply Quantized Neural Networks

Ferheen Ayaz, Idris Zakariyya, José Cano, Sye Loong Keoh, Jeremy Singer...

TL;DR该研究旨在解决如何创建可部署在资源受限的嵌入式设备上的精确、稳健、小型的深度神经网络模型的挑战，并报告了使用自动量化感知训练框架 QKeras 训练的鲁棒性小型 DNN 模型的结果，该模型稳健性能显著优于现有基准测试。

Abstract

Reducing the memory footprint of machine learning (ML) models, particularly deep neural networks (DNNs), is essential to enable their deployment into resource-constrained tiny devices. However, a disadvantage of

machine learning deep neural networks adversarial attacks quantization resource-constrained devices

发现论文，激发创造

使用随机量化和信息理论集成训练提高量化深度神经网络对白盒攻击的鲁棒性

通过引入可微分的随机量化器，通过多个不同的量化神经网络学习输入图像的不同表示，提高量化过的深度神经网络对白盒对抗攻击的鲁棒性。在不同威胁模型上进行统一分析，通过相关性将互信息和准确率结合，检测攻击并生成鲁棒性图谱。

Nov, 2023

量化模型强化测试

通过对 ImageNet 上的广泛实验，我们发现量化技术在部署深度神经网络时，虽然对于对抗性攻击具有更高的稳健性，但更容易受到自然噪声和系统噪声等噪声的影响。特别的，脉冲噪声和最邻近插值对量化模型影响最大，我们的研究有助于进一步提升模型的稳健性，使其能够在真实场景中部署应用。

Apr, 2023

低位宽量化对嵌入式神经网络对抗鲁棒性的影响

本文采用经典监督图像分类任务，研究了在不同威胁模型下量化神经网络的对抗鲁棒性，结果表明，量化不能提供任何强大的保护性，并提出了关于量化值偏移现象和梯度不对齐的假设以及如何利用基于集成的防御性能。

Sep, 2019

大卫与歌利亚：QNNs 在深度边缘的攻击和防御的实证评估

边缘计算和微控制器 (MCUs) 上的量化和对抗示例在深度边缘上的有效性进行了实证评估。量化增加了决策边界的点距离，并导致某些攻击估计的梯度爆炸或消失，同时量化能够增强或减弱噪声，导致梯度失调。尽管输入预处理防御在小扰动上效果显著，但在扰动增加时表现不佳，而基于训练的防御方法可以增加决策边界的平均点距，并且在量化后仍然有效，但我们认为基于训练的防御仍需解决量化偏移和梯度失调的问题以对抗对 QNNs 的敌对示例可迁移性。

Apr, 2024

RobustMQ：量化模型鲁棒性性能评估

通过对 ImageNet 上的各种噪声（对抗性攻击、自然扰动和系统噪声）进行了全面评估，我们得出了关于量化模型在各种场景下的鲁棒性的宝贵见解：（1）量化模型在对抗性鲁棒性方面表现更好，但对自然扰动和系统噪声更加脆弱；（2）一般来说，增加量化位宽会导致对抗性鲁棒性降低，自然鲁棒性增强，系统鲁棒性增加；（3）在扰动方法中，由 extit {脉冲噪声} 和 extit {玻璃模糊} 对量化模型的影响最大，而 extit {亮度} 的影响最小；（4）在系统噪声中， extit {最近邻插值} 的影响最大，而双线性插值、立方插值和区域插值的影响最小。我们的研究推动了模型的鲁棒量化及其在实际场景中的部署。

Aug, 2023

通过固定和动态量化激活函数来防御深度神经网络对抗性示例

本研究发现神经网络量化和抵御对抗攻击这两条不同的路线可以合并，提出了动态量化激活方法以训练鲁棒神经网络，并在 MNIST 和 CIFAR-10 数据集上的广泛实验证明了该方法能够有效提高深度神经网络的鲁棒性。

Jul, 2018

VQUNet：量化向量 U-Net 对抗异常攻击的正则化抑制非理想噪声

引入一种新颖的噪声减小过程 Vector Quantization U-Net（VQUNet），以提供更好的鲁棒性和超越其他最先进的基于噪声减小的防御方法，对抗各种敌对攻击。

Jun, 2024

深度神经网络自适应量化

本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

Dec, 2017

QuantAttack：利用动态量化对抗视觉转换器

该论文介绍了 QuantAttack，一种针对量化模型的新型威胁方法，通过精心设计的对抗样本耗尽操作系统资源，导致最坏情况性能，从而减慢推理速度，增加内存使用和能量消耗，实验证明了针对视觉转换器的攻击在各种任务中的有效性，包括单模态和多模态，并研究了不同攻击变种和模型之间的可转移性。

Dec, 2023

压缩神经网络的对抗微调：强化鲁棒性和效率的联合改善

探讨深度学习中模型压缩方法对对抗鲁棒性的影响，发现压缩不会导致模型损失鲁棒性，而对压缩模型进行对抗微调可以显著提高鲁棒性性能并改善计算效率。

Mar, 2024