本文研究神经网络的鲁棒性问题，通过对抗训练的方法提高神经网络对抗扰动的鲁棒性。研究表明，通过对抗训练，网络可以收敛到一个鲁棒的分类器，传统的交叉熵损失函数不适用于训练鲁棒的分类器，也因此需要引入代理损失，并证明鲁棒插值需要更大的模型容量。

Jun, 2019

对深度神经网络（DNN）进行逆向训练以提高其对敌对扰动的鲁棒性是一种被广泛采用的方法。然而，经验观察到，对于超参数化网络的逆向训练往往存在 “鲁棒过拟合” 问题：它可以实现接近于零的逆向训练错误，但鲁棒性的泛化性能不佳。本文从逼近的角度对逆向训练中过拟合的 DNN 的泛化能力进行了理论研究，得出了三个主要结果：i）对于分类问题，我们通过构造证明在超参数化的 DNNs 上存在无穷多的逆向训练分类器，可以获得任意小的逆向训练错误（过拟合），同时在数据质量、明显分离和扰动水平等方面满足一定条件时可以获得良好的鲁棒泛化误差。ii）只要目标函数足够平滑，线性超参数化（即参数数量略大于样本大小）就足以确保这种存在性。iii）对于回归问题，我们的结果证明，在逆向训练中存在无穷多的超参数化过拟合 DNNs，可以实现几乎最优的标准泛化误差收敛速率。总体来说，我们的分析指出，鲁棒过拟合是可以避免的，但所需的模型容量将取决于目标函数的平滑程度，而鲁棒泛化差距是不可避免的。我们希望我们的分析能够更好地从逼近的角度理解 DNNs 的鲁棒性的数学基础。

Jan, 2024

通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有 SOTA 性能，并克服了在敌对训练中普遍存在的过度拟合问题。

Mar, 2023

通过实证研究，我们发现过参数化神经网络相对于低参数网络在对抗性攻击方面更具鲁棒性。

Jun, 2024

最新机器学习模型存在脆弱性，而对抗训练是一种有效方法，本研究着重探究线性模型下的脆弱性，并对对抗训练在线性回归和其他正则化方法中的解决方案进行了比较分析。

Oct, 2023

最近的研究表明，深度神经网络对于对抗样本存在漏洞。已经提出了许多防御方法以提高模型的鲁棒性，其中对抗训练最为成功。本文重新审视了鲁棒过拟合现象。我们认为，对抗训练过程中产生的自信模型可能是潜在的原因，通过实证观察支持，具有更好鲁棒泛化能力的模型对于对抗样本的预测标签往往具有更均匀的分布。基于对抗确立的定义，我们在对抗训练框架中引入了一个额外的梯度步骤，以寻找能够生成置信度较低的对抗扰动输入的模型，进一步提高鲁棒泛化。我们的方法具有普适性，可以轻松与其他对抗训练方法的变体结合。在图像基准实验上进行的大量实验证明了我们的方法有效地减轻了鲁棒过拟合，并能够产生鲁棒性持续提升的模型。

Oct, 2023

本文从深度神经网络的表达能力角度出发，研究了针对现代神经网络的对抗样本问题解决方法的普适性，提出了分析鲁棒性泛化间难以弥合距离的矛盾问题的理论框架。

May, 2022

该研究论文探讨了对抗训练中的鲁棒性过拟合现象及其与扰动诱导分布的泛化困难性之间的相关性，提供了一个新的上界，其中称为 “局部离散性” 的扰动算子发挥了重要作用。

Nov, 2023

该研究旨在探究神经网络在面对针对性但难以察觉的图像扰动时的鲁棒性问题，发现鲁棒性问题与训练目标的输入梯度密切相关，不同网络拓扑的初始敏感度存在差异，输入维度增加时网络对扰动越加脆弱，且这一现象在正常或鲁棒训练后仍持续存在，但该问题可以通过增加规范化来得到缓解。

Feb, 2018

研究深度学习领域中常用的过参数化网络和尽可能训练的现象，发现对于对抗训练的深度网络来说过拟合确实会对其稳健性产生很大的负面影响，因此建议使用提前停止等方法来取得相似的性能提升。

Feb, 2020