通过自适应加权正则化和知识蒸馏增强低标签模式下的对抗鲁棒性

ICCVAug, 2023

通过自适应加权正则化和知识蒸馏增强低标签模式下的对抗鲁棒性

Enhancing Adversarial Robustness in Low-Label Regime via Adaptively Weighted Regularization and Knowledge Distillation

Dongyoon Yang, Insung Kong, Yongdai Kim

TL;DR关键词：对抗鲁棒性、半监督对抗训练、有标签数据稀缺、正则化项、知识蒸馏。摘要：本文研究了对抗鲁棒性的半监督对抗训练，探究了稀缺有标签数据情况下的两个鲁棒风险上界，并提出了正则化项以应用于无标签数据，最后通过半监督教师模型的知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明，相较于现有算法，我们提出的算法在性能方面取得了显著的提升，并且即使有限的有标签数据量，我们的算法仍能与使用所有标签数据的监督对抗训练算法相媲美，无论是在标准准确率还是在鲁棒准确率上，比如我们的算法只使用 8％的有标签数据时，在 CIFAR-10 数据集上与监督对抗训练算法相比表现接近。

Abstract

adversarial robustness is a research area that has recently received a lot of attention in the quest for trustworthy artificial intelligence. However, recent works on adversarial robustness have focused on superv

adversarial robustness semi-supervised adversarial training labeled data scarcity regularization term knowledge distillation

发现论文，激发创造

通过更多无标签数据来提升对抗鲁棒泛化能力

本文研究了神经网络对抗性鲁棒性问题，通过理论和实验结果表明，增加未标记数据的使用，可以提高抗干扰泛化性能，并提出一种算法在 MNIST 和 Cifar-10 上的对抗训练方法。

Jun, 2019

重新审视对抗性鲁棒性蒸馏：鲁棒的软标签让学生更好

本研究使用了知识蒸馏的概念来提高小模型的鲁棒性，旨在改善在存储或计算资源非常有限的情况下对小型模型的有效性。通过使用 Robust Soft Label Adversarial Distillation（RSLAD）来训练鲁棒的小学生模型，完全利用了由 Robust（对抗训练）大教师模型产生的鲁棒软标签来引导学生的学习。该方法在提高小型模型对 AutoAttack 等最先进攻击的鲁棒性方面表现出优异的效果，并为对抗鲁棒性蒸馏的 Robust Soft 标签的重要性提供了一组理解。

Aug, 2021

无标签数据提高对抗鲁棒性

通过理论和实验，我们证明了半监督学习可以显著提高对抗性鲁棒性，实验结果表明在 CIFAR-10 上使用 500k 未标记图像，使用自我训练方法可以超过最先进的对抗性鲁棒的准确度。在 SVHN 上，使用模型自身的额外的训练集可以提高 4 至 10 个百分点，与使用额外标签的提高量相差不大。

May, 2019

将未标记数据纳入分布鲁棒学习中

本研究介绍了一种新的分布鲁棒学习方法，该方法通过加入无标签数据以限制敌手从指定分布中选择数据，可以有效地进行分类，并提出了一个分布鲁棒的版本，可应用于主动学习。在 14 个真实数据集上的结果表明，该算法往往在传统方法无法提供良好结果的情况下表现出色。

Dec, 2019

虚拟对抗训练：一种用于监督学习和半监督学习的正则方法

提出了一种基于虚拟对抗损失的正则化方法 - 一种关于条件标签分布的局部平滑度的新度量。虚拟对抗损失被定义为每个数据点周围条件标签分布对本地扰动的鲁棒性。我们的方法定义了无需标签信息的对抗方向，因此适用于半监督学习。在多个基准数据集上，通过熵最小化原理实现的 VAT 在半监督学习任务上实现了 SVHN 和 CIFAR-10 的最新性能。

Apr, 2017

学习不完整数据时对抗性扰动的鲁棒性

本文研究了在对抗性扰动的假设下，无标记数据在推断问题中的作用，并将两种主要的学习框架 —— 半监督学习（SSL）和分布式鲁棒学习（DRL）统一起来，并在新的复杂性度量基础上进行了一般化理论的构建。

May, 2019

标签是否需要以提高对抗性鲁棒性？

研究表明，使用未标记的数据进行训练可以作为对于耐受对抗攻击模型的有竞争力的替代方法，具体而言是在简单的统计情况下，学习对抗鲁棒模型的样本复杂度与完全受监督的情况一致。此外，使用未标记数据的无监督对抗训练方法可以在 CIFAR-10 这样的标准数据集上，使得鲁棒准确性比仅仅使用 4K 监督样例有 21.7% 的提升，并且可以捕捉到相同数量标记样例的改进量中超过 95% 的部分。最后，使用来自未筛选的 8000 万张小图片数据集的额外未标记数据，在 CIFAR-10 上击败了当前已知最强的攻击，展示了我们的发现也适用于未筛选的现实情况，从而为提高对抗训练打开了新的途径。

May, 2019

局部线性化对抗鲁棒性

本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。

Jul, 2019

半无限约束学习的对抗鲁棒性

本文通过半无限优化和非凸对偶理论的研究，证明对抗性训练等价于在扰动分布上的统计问题，并对此进行完整的表征。我们提出一种基于 Langevin Monte Carlo 的混合方法，可以缓解鲁棒性与标准性能之间的平衡问题，并取得了 MNIST 和 CIFAR-10 等领域最先进的结果。

Oct, 2021

使用不可靠的教师进行可信对抗蒸馏

提出一种新的神经网络训练方法，叫做可靠的内省式敌对蒸馏（IAD），用于提高神经网络对抗攻击的能力。通过在不同情况下，对不同来源的标签进行部分可信任处理，以提高神经网络的稳定性。实验结果表明，IAD 在提高抗对抗性方面的效果显著。

Jun, 2021