MeanSparse: 通过平均中心的特征稀疏化来增强训练后的鲁棒性

Jun, 2024

MeanSparse: 通过平均中心的特征稀疏化来增强训练后的鲁棒性

MeanSparse: Post-Training Robustness Enhancement Through Mean-Centered Feature Sparsification

Sajjad Amini, Mohammadreza Teymoorianfard, Shiqing Ma, Amir Houmansadr

TL;DR我们提出了一种简单而有效的方法，通过对经过对抗训练的模型进行后处理，来提高卷积神经网络（CNNs）对抗性示例的鲁棒性。我们的技术 MeanSparse 将训练模型的激活函数级联到与平均中心化的特征向量稀疏化的新操作。我们展示了这种减小平均值周围特征变化对模型实用性几乎没有影响，但却能强烈抑制对抗扰动并降低攻击者的成功率。我们的实验证明，在 RobustBench 榜单上最顶尖的模型上应用该方法，在 AutoAttack 准确率上相对 CIFAR-10 和 ImageNet 分别提升到 72.08%（原来为 71.07%）和 59.64%（原来为 59.56%），取得了新的鲁棒性记录。更多详细信息请访问 https URL。

Abstract

We present a simple yet effective method to improve the robustness of convolutional neural networks (CNNs) against adversarial examples by

convolutional neural networks adversarial examples robustness meansparse activation functions

发现论文，激发创造

稀疏深度神经网络的改进对抗鲁棒性

本文研究了基于深度神经网络的分类模型中稀疏性与鲁棒性之间的关系，并理论和实证分析表明，适当的模型稀疏化可以提高非线性 DNN 的鲁棒性，但过度稀疏化会使模型更难抵抗对抗性样本攻击。

Oct, 2018

稀疏编码前端用于鲁棒神经网络

该研究提出了一种基于稀疏编码的前端防御方法，该方法在 CIFAR-10 数据集上的实验结果表明，相较于其它对抗训练方法，该方法对 Linf、L2 和 L1 攻击的抵御效果更好。

Apr, 2021

卷积神经网络快速实时非重训练稀疏化

本论文提出了三种无需重新训练即可进行卷积神经网络稀疏化的方法，研究表明，这些方法能够使得最先进的模型权重减少高达 73％（压缩因子为 3.7 倍），而最多只会损失 5％的 Top-5 精度，附加的微调只能获得 8％的稀疏度，这表明我们的快速稀疏化方法是有效的。

Nov, 2018

稀疏性双赢：更高效的训练带来更好的鲁棒泛化

本文提出两种新颖的在对抗训练期间注入适当稀疏形式的方法，即：通过利用最近的彩票假设的结果识别早期训练中出现的关键稀疏子网络来实现静态稀疏，以及通过在训练期间使稀疏子网络自适应调整其连接模式（同时保持相同的稀疏比率）来实现动态稀疏，并发现这两种新方法都可以显著缩减稳健泛化差距和减轻过度拟合，同时大大减少训练和推理的 FLOPs，实验证明此方法在各种数据集上有着显著作用，包括 CIFAR-10/100 和 Tiny-ImageNet。

Feb, 2022

SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练

本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

Jul, 2020

深度学习框架的对抗噪声攻击 -- 利用稀疏模型信号的稳定性分析

本研究分析了最新深度学习分类器对抗性扰动的稳定性，结论表明，基于稀疏表示模型的 CNNs 对噪声更为稳健，且基于阈值深度网络方法的稳健性更佳，并通过实验在三种数据集上验证结论。

May, 2018

面向卷积神经网络的广义熵稀疏化

卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

Apr, 2024

动态特征聚合的鲁棒表征

本文提出一种名为动态特征聚合的方法，旨在通过优化正则化和引入正交分类器的方式，压缩卷积神经网络 (CNN) 建模中的嵌入空间和提高模型的鲁棒性，从而更好地应对对抗攻击。在 CIFAR-10 数据集上，我们的方法平均准确率为 56.91％，优于 Mixup 基线 37.31％；此外，我们的方法还在超出分布检测方面实现了最佳性能。

May, 2022

卷积神经网络中的隐式滤波器稀疏化

研究发现，在采用批归一化和 ReLU 激活以及使用自适应梯度下降技术和 L2 正则化或权值衰减训练的卷积神经网络中，存在着隐式过滤器级别稀疏性，这可能与某些在文献中提出的过滤器稀疏化启发式的特定联系有关。进一步观察表明，特定功能的出现和随后的修剪是导致特征稀疏化的机制之一，导致的特征稀疏性与某些显式稀疏化 / 修剪方法相当甚至更好。本文总结了研究发现，并指出了选择性功能处罚的推论，这也可作为过滤器修剪的启发式方法。

May, 2019

通过修剪激活梯度加速 CNN 训练

通过修剪更小的梯度和考虑激活梯度的统计分布，我们提出了一种方法来加速 CNN 训练，这将不会影响准确率。

Aug, 2019