对抗鲁棒深度学习中的过拟合问题
对深度神经网络（DNN）进行逆向训练以提高其对敌对扰动的鲁棒性是一种被广泛采用的方法。然而，经验观察到，对于超参数化网络的逆向训练往往存在 “鲁棒过拟合” 问题：它可以实现接近于零的逆向训练错误，但鲁棒性的泛化性能不佳。本文从逼近的角度对逆向训练中过拟合的 DNN 的泛化能力进行了理论研究，得出了三个主要结果：i）对于分类问题，我们通过构造证明在超参数化的 DNNs 上存在无穷多的逆向训练分类器，可以获得任意小的逆向训练错误（过拟合），同时在数据质量、明显分离和扰动水平等方面满足一定条件时可以获得良好的鲁棒泛化误差。ii）只要目标函数足够平滑，线性超参数化（即参数数量略大于样本大小）就足以确保这种存在性。iii）对于回归问题，我们的结果证明，在逆向训练中存在无穷多的超参数化过拟合 DNNs，可以实现几乎最优的标准泛化误差收敛速率。总体来说，我们的分析指出，鲁棒过拟合是可以避免的，但所需的模型容量将取决于目标函数的平滑程度，而鲁棒泛化差距是不可避免的。我们希望我们的分析能够更好地从逼近的角度理解 DNNs 的鲁棒性的数学基础。
Jan, 2024
该研究论文探讨了对抗训练中的鲁棒性过拟合现象及其与扰动诱导分布的泛化困难性之间的相关性，提供了一个新的上界，其中称为 “局部离散性” 的扰动算子发挥了重要作用。
Nov, 2023
本研究探讨深度神经网络中的两个原因导致对抗性漏洞，即数据问题和训练模型问题，通过理论和实验证明标签噪声是对抗性漏洞的一个原因，并提出采用对抗性训练方法可以解决该问题，同时发现表示学习对此也有很大影响。
Jul, 2020
最近的研究表明，深度神经网络对于对抗样本存在漏洞。已经提出了许多防御方法以提高模型的鲁棒性，其中对抗训练最为成功。本文重新审视了鲁棒过拟合现象。我们认为，对抗训练过程中产生的自信模型可能是潜在的原因，通过实证观察支持，具有更好鲁棒泛化能力的模型对于对抗样本的预测标签往往具有更均匀的分布。基于对抗确立的定义，我们在对抗训练框架中引入了一个额外的梯度步骤，以寻找能够生成置信度较低的对抗扰动输入的模型，进一步提高鲁棒泛化。我们的方法具有普适性，可以轻松与其他对抗训练方法的变体结合。在图像基准实验上进行的大量实验证明了我们的方法有效地减轻了鲁棒过拟合，并能够产生鲁棒性持续提升的模型。
Oct, 2023
通过比较差异数据集，本研究阐述了敌对训练中稳健过度拟合的成因，并提出了一种名为最小化损失约束敌对训练 (MLCAT) 的算法，利用一些本不应考虑的数据，避免过度拟合问题，并且增强对抗鲁棒性。
Jun, 2022
本文提出了一种网络权重初始化的方法，使其能够在更高噪声水平下学习，同时评估了在 MNIST 和 CIFAR10 数据集上增强对抗噪声对学习范围的影响，并通过对简单多维伯努利分布的理论结果进行研究，提出了一些关于 MNIST 数据集可行扰动范围的见解。
Mar, 2020