本文研究知识蒸馏过程中，如何将教师神经网络的鲁棒性传递给学生神经网络，并提出一种称为 Adversarially Robust Distillation (ARD) 的方法。实验证明，采用 ARD 的学生模型在鲁棒性上的表现明显优于采用相同结构的敌对训练网络，并在标准鲁棒性基准测试中超越了当前最先进的方法。

May, 2019

本文研究了在对抗性扰动的假设下，无标记数据在推断问题中的作用，并将两种主要的学习框架——半监督学习（SSL）和分布式鲁棒学习（DRL）统一起来，并在新的复杂性度量基础上进行了一般化理论的构建。

May, 2019

通过理论和实验，我们证明了半监督学习可以显著提高对抗性鲁棒性，实验结果表明在 CIFAR-10 上使用 500k 未标记图像，使用自我训练方法可以超过最先进的对抗性鲁棒的准确度。在 SVHN 上，使用模型自身的额外的训练集可以提高 4 至 10 个百分点，与使用额外标签的提高量相差不大。

May, 2019

研究表明，使用未标记的数据进行训练可以作为对于耐受对抗攻击模型的有竞争力的替代方法，具体而言是在简单的统计情况下，学习对抗鲁棒模型的样本复杂度与完全受监督的情况一致。此外，使用未标记数据的无监督对抗训练方法可以在 CIFAR-10 这样的标准数据集上，使得鲁棒准确性比仅仅使用 4K 监督样例有 21.7% 的提升，并且可以捕捉到相同数量标记样例的改进量中超过 95% 的部分。最后，使用来自未筛选的 8000 万张小图片数据集的额外未标记数据，在 CIFAR-10 上击败了当前已知最强的攻击，展示了我们的发现也适用于未筛选的现实情况，从而为提高对抗训练打开了新的途径。

May, 2019

本文研究了神经网络对抗性鲁棒性问题，通过理论和实验结果表明，增加未标记数据的使用，可以提高抗干扰泛化性能，并提出一种算法在MNIST和Cifar-10上的对抗训练方法。

Jun, 2019

本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在CIFAR-10数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

Mar, 2020

探索对抗训练的极限，发现了通过结合更大的模型、Swish/SiLU激活函数和模型权重平均化可以训练出强健模型，同时在CIFAR-10和CIFAR-100数据集上有了大幅度的提升。

Oct, 2020

本文提出离散对抗攻击的在线增强方法，使用基于最佳优先搜索和随机抽样的攻击策略来生成对抗性样本，结果表明使用随机抽样方法能够显著提高鲁棒性，而且比之前使用的离线增强方法速度提高了约10倍。

Apr, 2021

本研究使用了知识蒸馏的概念来提高小模型的鲁棒性，旨在改善在存储或计算资源非常有限的情况下对小型模型的有效性。通过使用Robust Soft Label Adversarial Distillation（RSLAD）来训练鲁棒的小学生模型，完全利用了由Robust（对抗训练）大教师模型产生的鲁棒软标签来引导学生的学习。该方法在提高小型模型对AutoAttack等最先进攻击的鲁棒性方面表现出优异的效果，并为对抗鲁棒性蒸馏的Robust Soft标签的重要性提供了一组理解。

Aug, 2021

本文通过半无限优化和非凸对偶理论的研究，证明对抗性训练等价于在扰动分布上的统计问题，并对此进行完整的表征。我们提出一种基于Langevin Monte Carlo的混合方法，可以缓解鲁棒性与标准性能之间的平衡问题，并取得了MNIST和CIFAR-10等领域最先进的结果。

Oct, 2021