无标签数据提高对抗鲁棒性

MMMay, 2019

Unlabeled Data Improves Adversarial Robustness

Yair Carmon, Aditi Raghunathan, Ludwig Schmidt, Percy Liang, John C. Duchi

TL;DR通过理论和实验，我们证明了半监督学习可以显著提高对抗性鲁棒性，实验结果表明在 CIFAR-10 上使用 500k 未标记图像，使用自我训练方法可以超过最先进的对抗性鲁棒的准确度。在 SVHN 上，使用模型自身的额外的训练集可以提高 4 至 10 个百分点，与使用额外标签的提高量相差不大。

Abstract

We demonstrate, theoretically and empirically, that adversarial robustness can significantly benefit from semisupervised learning. Theoretically, we revisit the simple Gaussian model of Schmidt et al. that shows

adversarial robustness semisupervised learning self-training cifar-10 svhn

发现论文，激发创造

标签是否需要以提高对抗性鲁棒性？

研究表明，使用未标记的数据进行训练可以作为对于耐受对抗攻击模型的有竞争力的替代方法，具体而言是在简单的统计情况下，学习对抗鲁棒模型的样本复杂度与完全受监督的情况一致。此外，使用未标记数据的无监督对抗训练方法可以在 CIFAR-10 这样的标准数据集上，使得鲁棒准确性比仅仅使用 4K 监督样例有 21.7% 的提升，并且可以捕捉到相同数量标记样例的改进量中超过 95% 的部分。最后，使用来自未筛选的 8000 万张小图片数据集的额外未标记数据，在 CIFAR-10 上击败了当前已知最强的攻击，展示了我们的发现也适用于未筛选的现实情况，从而为提高对抗训练打开了新的途径。

May, 2019

利用未标记的域外数据提高对抗鲁棒性

本文研究了利用来自不同领域的未标记数据进行数据增强，以提高对抗鲁棒性的方法，发现使用偏移域的未标记数据可以大幅提高模型对抗攻击的鲁棒性。

Jun, 2020

通过更多无标签数据来提升对抗鲁棒泛化能力

本文研究了神经网络对抗性鲁棒性问题，通过理论和实验结果表明，增加未标记数据的使用，可以提高抗干扰泛化性能，并提出一种算法在 MNIST 和 Cifar-10 上的对抗训练方法。

Jun, 2019

对抗性自监督对比学习

本文提出一种新的对未标记数据的敌对攻击方法，并提出了一种自监督对比学习框架来实现无标记数据的敌对训练，旨在最大化数据样本的随机扩增和其实例级对抗扰动之间的相似度。我们在多个基准数据集上验证了我们的方法，发现它在鲁棒精度方面与最先进的有监督敌对学习方法相当，并且对于黑盒和未知类型的攻击具有显着的提高鲁棒性。此外，通过进一步联合微调有监督对抗损失，我们的方法可以获得更高的鲁棒精度，特别是在鲁棒迁移学习方面取得了令人瞩目的结果。

Jun, 2020

双重稳健自学习

本研究介绍了一种名为双重稳健自训练的算法，利用未标记的数据生成伪标签，与少量的标记数据相结合进行训练，以解决半监督学习问题。经实验证明，该算法优于标准的自训练基线，且在 ImageNet 数据集上表现出色。

Jun, 2023

使用自监督学习能够提升模型的鲁棒性和不确定性

自我监督能够提高深度学习在鲁棒性、异常检测等难题上的表现甚至超越了全监督学习，成为未来自我监督学习研究的新方向。

Jun, 2019

无标签领域外数据提高泛化能力

将未标记的数据合并到半监督分类问题的一个新框架中，借助分布鲁棒优化 (Distributionally Robust Optimization) 和自我监督训练的组合，提供了新的错误界限以及将离域样本用于缩小泛化差距的方法。

Sep, 2023

通过自适应加权正则化和知识蒸馏增强低标签模式下的对抗鲁棒性

关键词：对抗鲁棒性、半监督对抗训练、有标签数据稀缺、正则化项、知识蒸馏。摘要：本文研究了对抗鲁棒性的半监督对抗训练，探究了稀缺有标签数据情况下的两个鲁棒风险上界，并提出了正则化项以应用于无标签数据，最后通过半监督教师模型的知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明，相较于现有算法，我们提出的算法在性能方面取得了显著的提升，并且即使有限的有标签数据量，我们的算法仍能与使用所有标签数据的监督对抗训练算法相媲美，无论是在标准准确率还是在鲁棒准确率上，比如我们的算法只使用 8％的有标签数据时，在 CIFAR-10 数据集上与监督对抗训练算法相比表现接近。

Aug, 2023

自训练用于类增量语义分割

提出了一种基于自监督学习和伪标签的自训练方法，用于减轻深度神经网络在逐步学习新类任务时出现的灾难性遗忘问题，该方法不仅考虑了历史任务的知识，还利用了额外的数据提高了语义分割的性能。

Dec, 2020

利用生成的数据提高鲁棒性

本文探讨了如何使用仅基于原始训练集的生成模型来人为地增加原始训练集的大小并提高对扰动的鲁棒性，并证明了即使添加非现实的随机数据也可以提高鲁棒性。在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上进行了大量的绝对准确度改进，对于常见扰动的数据集，本文方法的结果优于大多数使用外部数据的先前工作。

Oct, 2021