对抗鲁棒深度学习中的过拟合问题
本文研究了如何防止在单步对抗训练中出现的“灾难性过拟合”的问题，并提出了一种简单的方法，不仅可以预防此问题，而且能够在单步对抗训练中防止多步对抗攻击。
Oct, 2020
在对抗训练中，过度拟合是由于模型尝试去拟合难以处理的对抗性实例所导致的，训练易难度的实例的模型具有更好的泛化性能，对抗训练方法必须避免拟合困难的对抗性实例才能真正增强模型的健壮性。
Dec, 2021
本研究发现，在单步对抗训练中，数据结构与训练动态之间的相互作用对于灾难性过拟合现象具有重要作用，这为理解构建强健模型的一般动态提供了新的洞见。
Jun, 2022
通过比较差异数据集，本研究阐述了敌对训练中稳健过度拟合的成因，并提出了一种名为最小化损失约束敌对训练(MLCAT)的算法，利用一些本不应考虑的数据，避免过度拟合问题，并且增强对抗鲁棒性。
Jun, 2022
最近的研究表明，深度神经网络对于对抗样本存在漏洞。已经提出了许多防御方法以提高模型的鲁棒性，其中对抗训练最为成功。本文重新审视了鲁棒过拟合现象。我们认为，对抗训练过程中产生的自信模型可能是潜在的原因，通过实证观察支持，具有更好鲁棒泛化能力的模型对于对抗样本的预测标签往往具有更均匀的分布。基于对抗确立的定义，我们在对抗训练框架中引入了一个额外的梯度步骤，以寻找能够生成置信度较低的对抗扰动输入的模型，进一步提高鲁棒泛化。我们的方法具有普适性，可以轻松与其他对抗训练方法的变体结合。在图像基准实验上进行的大量实验证明了我们的方法有效地减轻了鲁棒过拟合，并能够产生鲁棒性持续提升的模型。
Oct, 2023
对深度神经网络（DNN）进行逆向训练以提高其对敌对扰动的鲁棒性是一种被广泛采用的方法。然而，经验观察到，对于超参数化网络的逆向训练往往存在“鲁棒过拟合”问题：它可以实现接近于零的逆向训练错误，但鲁棒性的泛化性能不佳。本文从逼近的角度对逆向训练中过拟合的DNN的泛化能力进行了理论研究，得出了三个主要结果：i）对于分类问题，我们通过构造证明在超参数化的DNNs上存在无穷多的逆向训练分类器，可以获得任意小的逆向训练错误（过拟合），同时在数据质量、明显分离和扰动水平等方面满足一定条件时可以获得良好的鲁棒泛化误差。ii）只要目标函数足够平滑，线性超参数化（即参数数量略大于样本大小）就足以确保这种存在性。iii）对于回归问题，我们的结果证明，在逆向训练中存在无穷多的超参数化过拟合DNNs，可以实现几乎最优的标准泛化误差收敛速率。总体来说，我们的分析指出，鲁棒过拟合是可以避免的，但所需的模型容量将取决于目标函数的平滑程度，而鲁棒泛化差距是不可避免的。我们希望我们的分析能够更好地从逼近的角度理解DNNs的鲁棒性的数学基础。
Jan, 2024