本文研究神经网络的鲁棒性问题，通过对抗训练的方法提高神经网络对抗扰动的鲁棒性。研究表明，通过对抗训练，网络可以收敛到一个鲁棒的分类器，传统的交叉熵损失函数不适用于训练鲁棒的分类器，也因此需要引入代理损失，并证明鲁棒插值需要更大的模型容量。

Jun, 2019

采用ReLU激活函数和多项式宽度网络，在自然条件下实现对抗性训练的收敛理论，且证明了近似阶跃函数的ReLU网络有独立兴趣。

Feb, 2020

研究深度学习领域中常用的过参数化网络和尽可能训练的现象，发现对于对抗训练的深度网络来说过拟合确实会对其稳健性产生很大的负面影响，因此建议使用提前停止等方法来取得相似的性能提升。

Feb, 2020

探索对抗训练的极限，发现了通过结合更大的模型、Swish/SiLU激活函数和模型权重平均化可以训练出强健模型，同时在CIFAR-10和CIFAR-100数据集上有了大幅度的提升。

Oct, 2020

本文研究了有关深度学习的两个问题：对抗攻击与深度学习的泛化能力。以Neural Tangent Kernel（NTK）为主要理论，探究有限宽度下的kernel learning与lazy training，结果表明标准训练与对抗训练会有不同的NTK，最终可以得到一个在CIFAR-10数据集上具有76.1%鲁棒性的分类器。

Oct, 2022

该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。

May, 2023

深度学习的鲁棒训练中存在的过拟合问题可通过攻击强度和数据增强等措施来减轻，这些措施能阻止神经网络学习无效特征，从而提高鲁棒性。

Oct, 2023

通过研究神经切线核在代替有限宽度深度神经网络中的性能表现，揭示了核的正则性是性能的关键决定因素，从而提出了一种廉价改进深度神经网络准确性的方法。这一理论框架不仅为使用共轭核代替神经切线核提供了理论基础，而且揭示了不同近似方法的稳健性，为提高深度神经网络的准确性提供了建议。

Oct, 2023

本文使用神经切线核（NTK）对敌对训练（AT）过程和性质进行了深入研究，揭示了数据归一化对AT的影响以及批归一化层中无偏估计器的重要性，并通过实验探索了内核动力学和提出了更节省时间的AT方法，同时利用内核内的频谱特征解决了灾难性过拟合问题。据我们所知，这是首个利用内核动力学观察改进现有AT方法的研究。

Dec, 2023

对深度神经网络（DNN）进行逆向训练以提高其对敌对扰动的鲁棒性是一种被广泛采用的方法。然而，经验观察到，对于超参数化网络的逆向训练往往存在“鲁棒过拟合”问题：它可以实现接近于零的逆向训练错误，但鲁棒性的泛化性能不佳。本文从逼近的角度对逆向训练中过拟合的DNN的泛化能力进行了理论研究，得出了三个主要结果：i）对于分类问题，我们通过构造证明在超参数化的DNNs上存在无穷多的逆向训练分类器，可以获得任意小的逆向训练错误（过拟合），同时在数据质量、明显分离和扰动水平等方面满足一定条件时可以获得良好的鲁棒泛化误差。ii）只要目标函数足够平滑，线性超参数化（即参数数量略大于样本大小）就足以确保这种存在性。iii）对于回归问题，我们的结果证明，在逆向训练中存在无穷多的超参数化过拟合DNNs，可以实现几乎最优的标准泛化误差收敛速率。总体来说，我们的分析指出，鲁棒过拟合是可以避免的，但所需的模型容量将取决于目标函数的平滑程度，而鲁棒泛化差距是不可避免的。我们希望我们的分析能够更好地从逼近的角度理解DNNs的鲁棒性的数学基础。

Jan, 2024