压缩神经网络的对抗微调：强化鲁棒性和效率的联合改善

Mar, 2024

压缩神经网络的对抗微调：强化鲁棒性和效率的联合改善

Adversarial Fine-tuning of Compressed Neural Networks for Joint Improvement of Robustness and Efficiency

Hallgrimur Thorsteinsson, Valdemar J Henriksen, Tong Chen, Raghavendra Selvan

TL;DR探讨深度学习中模型压缩方法对对抗鲁棒性的影响，发现压缩不会导致模型损失鲁棒性，而对压缩模型进行对抗微调可以显著提高鲁棒性性能并改善计算效率。

Abstract

As deep learning (DL) models are increasingly being integrated into our everyday lives, ensuring their safety by making them robust against adversarial attacks has become increasingly critical. DL models have been found to be susceptible to →

deep learning adversarial attacks adversarial training model compression adversarial fine-tuning

发现论文，激发创造

压缩深度学习模型对抗鲁棒性基准测试

对于基础模型在受挫折性输入下的修剪版本的影响进行了研究，发现在提升普适性、压缩和更快的推断时间方面，模型压缩虽然具有其独特的优势，但不会削弱对抗性鲁棒性。

Aug, 2023

对抗鲁棒性与模型压缩，还是两者兼顾？

本文提出了一种并发对抗训练和权重修剪的框架，可以在保持对抗鲁棒性的情况下实现模型压缩，同时解决对抗训练的困境，并进一步研究了关于传统设置下的权重修剪的两个假设。

Mar, 2019

模型压缩与对抗鲁棒性的关系：当前证据综述

增加模型容量是增强深度学习网络对抗性鲁棒性的已知方法之一，而剪枝和量化等压缩技术则可以减小网络的大小同时保持准确性。本研究总结了现有证据并讨论了观察到的效果可能的解释。

Nov, 2023

是否压缩：理解对抗攻击和神经网络压缩之间的相互作用

通过实验，探究了压缩版和未压缩版深度神经网络对抗样本的传递性，并发现折叠模型生成的对抗样本对未压缩模型也很有效，但量化模型的传递性与整数精度高度敏感。

Sep, 2018

利用深度量化神经网络提高对抗攻击的鲁棒性

该研究旨在解决如何创建可部署在资源受限的嵌入式设备上的精确、稳健、小型的深度神经网络模型的挑战，并报告了使用自动量化感知训练框架 QKeras 训练的鲁棒性小型 DNN 模型的结果，该模型稳健性能显著优于现有基准测试。

Apr, 2023

模型压缩深度学习系统在对抗攻击下的安全分析与增强

通过综合考虑模型重塑和输入扰动，本研究首次探讨了实际模型优化的深度学习系统中的多因素对抗攻击问题，并开发了一种名为 “梯度抑制” 的防御技术，能够有效减轻对软硬件导向深度学习的对抗攻击。

Feb, 2018

具有对抗性鲁棒性的模型压缩：一个统一优化框架

通过 Adversarially Trained Model Compression (ATMC) 框架，将剪枝、因子分解和量化等现有压缩方法整合到一个受约束的优化公式中，实现了在保持模型准确性和鲁棒性的前提下，获得更好的模型尺寸和准确性折衷。

Feb, 2019

紧凑且稳健的深度神经网络

本文研究了网络剪枝策略的扩展，力图在保留网络的鲁棒性的同时设计更紧凑的神经网络，并基于对现有策略的缺陷进行改进，最终在 CIFAR-10 数据集上取得了不俗的成绩。

Jun, 2019

动态调节对抗性对手的对抗微调

本文提出了一种简单而有效的基于迁移学习的对抗性训练策略，该策略将对抗样本的负面影响与模型的标准性能分离开来，引入了一种训练友好的对抗攻击算法，同时保持了模型对干净数据的标准性能，从而提高了模型的鲁棒性。

Apr, 2022

可转移的学习图像压缩抗扰动

对利用学习型图像压缩器作为预处理模块的图像分类模型进行了具有增强传递性的对抗攻击方法的探索与实验。

Jan, 2024