本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。

Apr, 2018

该研究探讨了在保证标准准确率的前提下提高对抗性鲁棒性的方法，介绍了Max-Mahalanobis中心损失函数，强制在特征空间中诱导高密度区域，以使学习到的特征点更加紧凑和有序，从而提高对抗性防御水平。

May, 2019

我们提出了评估模型质量的最小必要信息(MNI)准则，训练与该准则相对应的新的目标函数Conditional Entropy Bottleneck(CEB)模型以及比较该模型与确定性模型和变分信息瓶颈(VIB)模型表现的实验结果支持了我们关于机器学习中鲁棒泛化失败的假设。

Feb, 2020

本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在CIFAR-10数据集上取得最新成果，其中对于Ε=8/255的l∞规范扰动，模型不使用外部数据时达到64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

Mar, 2021

本文提出了一种通过优化辅助一致性规则损失来避免鲁棒过度拟合的有效正则化技术，在 Adversarial training 过程中使用数据扩增来强制攻击后的预测分布相似。实验结果表明，这种简单的方法可以显著提高各种 AT 方法的测试准确性，并对模型作出更具实际意义的泛化。

Mar, 2021

AugMax是一种数据增强框架，旨在将DNNs的鲁棒性的多样性和难度两个方面统一起来。 AugMax首先随机采样多个增强算子，然后学习所选算子的对抗性混合。 为了解决模型训练更具挑战性的问题，作者进一步设计了一种名为DuBIN的解耦归一化模块。 它可以解决由AugMax引起的不同实例间特征异质性的问题，并且比现有技术在CIFAR10-C，CIFAR100-C，Tiny ImageNet-C和ImageNet-C上的超出分布鲁棒性方面表现更好。

Oct, 2021

本文将信息瓶颈理论引入对抗训练和非对抗训练方法，以加强其鲁棒性，在损失函数中设计了正则化器作为学习目标，并根据特征与标签间的互信息来过滤中间表示的无用特征。实验结果表明，该方法能够与对抗性训练自然结合，提供更好的鲁棒性。

Feb, 2023

通过奇异值分解将图像分解为多个矩阵，对不同攻击的敌对信息进行分析，提出一种新的模块来规范敌对信息，并结合信息瓶颈理论实现中间表示的理论限制，从而提高模型的鲁棒性。

Dec, 2023

使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。

Feb, 2024

以模型复杂性为视角解决对抗训练中标准泛化性能的下降问题，通过使用Logit-Oriented Adversarial Training (LOAT)提出了一种新的正则化框架，可以在几乎不增加计算开销的情况下平衡鲁棒性与准确性，提高对抗性训练算法的性能。

Mar, 2024