对深度神经网络（DNN）进行逆向训练以提高其对敌对扰动的鲁棒性是一种被广泛采用的方法。然而，经验观察到，对于超参数化网络的逆向训练往往存在 “鲁棒过拟合” 问题：它可以实现接近于零的逆向训练错误，但鲁棒性的泛化性能不佳。本文从逼近的角度对逆向训练中过拟合的 DNN 的泛化能力进行了理论研究，得出了三个主要结果：i）对于分类问题，我们通过构造证明在超参数化的 DNNs 上存在无穷多的逆向训练分类器，可以获得任意小的逆向训练错误（过拟合），同时在数据质量、明显分离和扰动水平等方面满足一定条件时可以获得良好的鲁棒泛化误差。ii）只要目标函数足够平滑，线性超参数化（即参数数量略大于样本大小）就足以确保这种存在性。iii）对于回归问题，我们的结果证明，在逆向训练中存在无穷多的超参数化过拟合 DNNs，可以实现几乎最优的标准泛化误差收敛速率。总体来说，我们的分析指出，鲁棒过拟合是可以避免的，但所需的模型容量将取决于目标函数的平滑程度，而鲁棒泛化差距是不可避免的。我们希望我们的分析能够更好地从逼近的角度理解 DNNs 的鲁棒性的数学基础。

Jan, 2024

研究过参数化在机器学习中的应用，发现其在提高模型准确性和稳健性方面的作用还有待进一步探究，需要结合智能架构实现全面稳健。

Feb, 2022

采用 ReLU 激活函数和多项式宽度网络，在自然条件下实现对抗性训练的收敛理论，且证明了近似阶跃函数的 ReLU 网络有独立兴趣。

Feb, 2020

论文研究了神经网络模型的不确定性对于对抗样本的产生具有决定性作用，与体系结构、数据集和训练协议无关，表现为对抗误差具有与对抗扰动大小呈幂律的普适性，通过减小预测熵来提高对抗鲁棒性，在 CIFAR10 上使用神经架构搜索找到更鲁棒的架构。

Nov, 2017

本文研究神经网络的鲁棒性问题，通过对抗训练的方法提高神经网络对抗扰动的鲁棒性。研究表明，通过对抗训练，网络可以收敛到一个鲁棒的分类器，传统的交叉熵损失函数不适用于训练鲁棒的分类器，也因此需要引入代理损失，并证明鲁棒插值需要更大的模型容量。

Jun, 2019

针对当前神经网络抵御对抗攻击的能力较弱的情况，提出了一种新的损失函数，从而提高了 19 种不同状态下的神经网络的抗攻击能力。同时发现目前不良攻击行为只能诱发少量不同类别的误分类，过于自信或不自信都会影响对模型鲁棒性的准确评估。

May, 2021

通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有 SOTA 性能，并克服了在敌对训练中普遍存在的过度拟合问题。

Mar, 2023

最近的研究表明，深度神经网络对于对抗样本存在漏洞。已经提出了许多防御方法以提高模型的鲁棒性，其中对抗训练最为成功。本文重新审视了鲁棒过拟合现象。我们认为，对抗训练过程中产生的自信模型可能是潜在的原因，通过实证观察支持，具有更好鲁棒泛化能力的模型对于对抗样本的预测标签往往具有更均匀的分布。基于对抗确立的定义，我们在对抗训练框架中引入了一个额外的梯度步骤，以寻找能够生成置信度较低的对抗扰动输入的模型，进一步提高鲁棒泛化。我们的方法具有普适性，可以轻松与其他对抗训练方法的变体结合。在图像基准实验上进行的大量实验证明了我们的方法有效地减轻了鲁棒过拟合，并能够产生鲁棒性持续提升的模型。

Oct, 2023

研究深度学习领域中常用的过参数化网络和尽可能训练的现象，发现对于对抗训练的深度网络来说过拟合确实会对其稳健性产生很大的负面影响，因此建议使用提前停止等方法来取得相似的性能提升。

Feb, 2020

本研究通过对深度学习模型的多方面度量，特别是模型对输入扰动的敏感性度量，研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系，并得出结论：训练的神经网络在其训练数据范围内更加鲁棒，这种鲁棒性与泛化能力有关联，而诸如数据扩增和修正线性单元等好的泛化因素会带来更强的鲁棒性。

Feb, 2018