量化网络的改进梯度对抗攻击
本文采用经典监督图像分类任务,研究了在不同威胁模型下量化神经网络的对抗鲁棒性,结果表明,量化不能提供任何强大的保护性,并提出了关于量化值偏移现象和梯度不对齐的假设以及如何利用基于集成的防御性能。
Sep, 2019
该研究旨在解决如何创建可部署在资源受限的嵌入式设备上的精确、稳健、小型的深度神经网络模型的挑战,并报告了使用自动量化感知训练框架 QKeras 训练的鲁棒性小型 DNN 模型的结果,该模型稳健性能显著优于现有基准测试。
Apr, 2023
该论文介绍了 QuantAttack,一种针对量化模型的新型威胁方法,通过精心设计的对抗样本耗尽操作系统资源,导致最坏情况性能,从而减慢推理速度,增加内存使用和能量消耗,实验证明了针对视觉转换器的攻击在各种任务中的有效性,包括单模态和多模态,并研究了不同攻击变种和模型之间的可转移性。
Dec, 2023
利用低精度的神经网络进行量化,可以通过减少内存消耗和优化位运算实现更高的效率。本文提出低精度神经网络的第三个优点是在一些对抗攻击中有更好的鲁棒性,最坏情况下的表现也可以与高精度模型媲美。作者着重于量化权重和激活到 +-1 的非缩放二进制神经网络,在黑盒和白盒实验中探究其应对逐步攻击的能力。该方法可以在不人为掩盖梯度的情况下保证模型的安全性。
Nov, 2017
通过引入可微分的随机量化器,通过多个不同的量化神经网络学习输入图像的不同表示,提高量化过的深度神经网络对白盒对抗攻击的鲁棒性。在不同威胁模型上进行统一分析,通过相关性将互信息和准确率结合,检测攻击并生成鲁棒性图谱。
Nov, 2023
通过对 ImageNet 上的广泛实验,我们发现量化技术在部署深度神经网络时,虽然对于对抗性攻击具有更高的稳健性,但更容易受到自然噪声和系统噪声等噪声的影响。特别的,脉冲噪声和最邻近插值对量化模型影响最大,我们的研究有助于进一步提升模型的稳健性,使其能够在真实场景中部署应用。
Apr, 2023
在这篇论文中,我们首次对 Post-Training Quantization 和 Quantization-Aware Training 的设置下,能够将鲁棒性优化纳入其中的量化流水线组件的影响进行了深入研究分析。通过我们的详细分析,我们发现不同研究中使用的不同流水线导致了这种不一致性,具体涉及是否执行鲁棒优化以及在哪个量化阶段执行。我们的研究结果为部署更安全、更鲁棒的量化网络提供了洞察,帮助从业者在高安全要求和有限资源的情况下进行参考。
Apr, 2024
边缘计算和微控制器 (MCUs) 上的量化和对抗示例在深度边缘上的有效性进行了实证评估。量化增加了决策边界的点距离,并导致某些攻击估计的梯度爆炸或消失,同时量化能够增强或减弱噪声,导致梯度失调。尽管输入预处理防御在小扰动上效果显著,但在扰动增加时表现不佳,而基于训练的防御方法可以增加决策边界的平均点距,并且在量化后仍然有效,但我们认为基于训练的防御仍需解决量化偏移和梯度失调的问题以对抗对 QNNs 的敌对示例可迁移性。
Apr, 2024
本文提出了一种无需数据的对抗知识蒸馏,通过合成数据来实现数据自由的网络量化,包括多个生成器和多个学生的多样化对抗样本,实现了 (wide) residual networks 和 MobileNet 在 SVHN、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上最先进的数据自由模型压缩和量化效果。
May, 2020
本文提出了一个零样本敌对量化(ZAQ)框架,利用两级子空间分别描述数据分布的不同特征,通过生成对抗网络驱动生成器合成出优化量化模型的多样性数据示例,实现对全精度模型到其量化模型的有效差异估计和知识转移。在三个基本的视觉任务上进行了广泛实验,证实了 ZAQ 在零样本量化方面的卓越性,并验证了其主要组成部分的有效性。
Mar, 2021