无需对抗样本修剪对抗鲁棒神经网络

Oct, 2022

无需对抗样本修剪对抗鲁棒神经网络

Pruning Adversarially Robust Neural Networks without Adversarial Examples

Tong Jian, Zifeng Wang, Yanzhi Wang, Jennifer Dy, Stratis Ioannidis

TL;DR该研究通过运用自蒸馏和信息瓶颈方案，提出新的神经网络剪枝框架，使其可以在保持鲁棒性的情况下压缩其大小并提高训练效率。

Abstract

adversarial pruning compresses models while preserving robustness. Current methods require access to adversarial examples during pruning. This significantly hampers training efficiency. Moreover, as new adversari

adversarial pruning neural networks robustness self-distillation information bottleneck

发现论文，激发创造

紧凑且稳健的深度神经网络

本文研究了网络剪枝策略的扩展，力图在保留网络的鲁棒性的同时设计更紧凑的神经网络，并基于对现有策略的缺陷进行改进，最终在 CIFAR-10 数据集上取得了不俗的成绩。

Jun, 2019

对抗鲁棒性与模型压缩，还是两者兼顾？

本文提出了一种并发对抗训练和权重修剪的框架，可以在保持对抗鲁棒性的情况下实现模型压缩，同时解决对抗训练的困境，并进一步研究了关于传统设置下的权重修剪的两个假设。

Mar, 2019

压缩深度学习模型对抗鲁棒性基准测试

对于基础模型在受挫折性输入下的修剪版本的影响进行了研究，发现在提升普适性、压缩和更快的推断时间方面，模型压缩虽然具有其独特的优势，但不会削弱对抗性鲁棒性。

Aug, 2023

剪枝对对抗鲁棒性的影响

本研究探究了神经网络规模剪枝作为一种减少运算量形式的同时能起到正则化效果的方法，其可以提高 CNN 网络的泛化性和对抗性。研究结果表明规模剪枝能够有效地提高 CNN 网络对抗性，因此具有潜在的防御机制。

Aug, 2021

越少越好：数据修剪加速对抗训练

提出基于数据修剪的针对深度神经网络的对抗训练，通过减少数据层面的冗余来提高计算效率，实现和未修剪模型相似或更高的鲁棒性和准确性。

Feb, 2023

薄冰上的样本：重新评估神经网络的对抗剪枝

神经网络剪枝是一种有效的技术，可以减小网络大小，以提高稀疏性，但会牺牲泛化能力和对抗攻击的鲁棒性。本研究重新评估了三种最先进的对抗剪枝方法，发现它们的鲁棒性被高估，同时发现剪枝后，在接近未剪枝模型决策边界的样本通常被错误分类。通过讨论这一发现，探讨了未来设计更有效的对抗剪枝方法的可能性。

Oct, 2023

参数高效的 Diff 剪枝用于偏差缓解

介绍了一种模块化的架构，应用 DiffPruning 和对抗训练技术在保持语言模型存储效率的同时，减少预设受保护属性对推理结果的影响。

May, 2022

遮盖对抗损伤：寻找稳健、稀疏网络的对抗显著性

深度神经网络中的对抗样本会引起弱可靠性和潜在安全问题。为了解决对抗鲁棒性和模型压缩之间的问题，我们提出了一种基于对抗损失的二阶信息的新对抗剪枝方法，称为 MAD。通过在三个公共数据集上进行的广泛实验，我们证明了 MAD 有效地剪枝了对抗训练的网络，而不会失去其对抗鲁棒性，并显示出比以前的对抗剪枝方法更好的性能。

Apr, 2022

对抗神经元剪枝净化植入后门的深度模型

通过 Adversarial Neuron Pruning (ANP) 修复易崩溃的 DNN 神经元，即可在不影响性能的情况下去除后门攻击。

Oct, 2021

压缩神经网络的对抗微调：强化鲁棒性和效率的联合改善

探讨深度学习中模型压缩方法对对抗鲁棒性的影响，发现压缩不会导致模型损失鲁棒性，而对压缩模型进行对抗微调可以显著提高鲁棒性性能并改善计算效率。

Mar, 2024