利用数据增强作为正则化方式，我们从解析角度重新考虑了数据增强在深度神经网络中的泛化问题，并发现它显著降低了模型泛化误差，但同时也导致略微增加了经验风险。使用较少的数据对完整增强的数据进行训练能够帮助模型更好地收敛于更好的区域，从而进一步提高准确性。

Sep, 2019

本文研究了利用来自不同领域的未标记数据进行数据增强，以提高对抗鲁棒性的方法，发现使用偏移域的未标记数据可以大幅提高模型对抗攻击的鲁棒性。

Jun, 2020

本文介绍了一种利用负数据增强策略来生成标准维度数据外的样本，探究这种样本对生成模型和表示学习的影响，并将其应用在生成模型和无监督学习任务中，最终提高了模型的表现。

Feb, 2021

本文利用Wasserstein距离定义了out-of-distribution（OOD）一般化，理论上证明对输入扰动具有鲁棒性的模型可以在OOD数据上一般化；在图像分类和自然语言理解任务上进行了实证验证，并进一步理论证明了在预训练和微调范式中，更具扰动输入鲁棒性的预训练模型可以更好地初始化在下游OOD数据的泛化，实验证明在经过微调后，这种通过对抗训练预训练的更好初始化的模型也有更好的OOD一般化。

May, 2021

本文通过研究数据修正、数据增强、去偏、数据过滤等方法对模型泛化到未知领域和对抗鲁棒性的影响，发现数据的增加（通过增加数据集或数据增强）能够提高模型在未知领域下的准确性和抗干扰能力，而数据过滤则会减少针对特定任务的准确性。

Mar, 2022

本研究探讨了如何测量和改善模型的鲁棒性，并提供了五个包括准确性、校准误差、对抗攻击、环境不变性和综合污染的数据集对深度学习网络进行了分析与比较，发现鲁棒性的提升与具体数据集相关，且关系更为复杂。

Jul, 2022

在本研究中，我们发现了一个反直觉的现象：在涉及目标任务的样本数量增加之前，由于少量的来自未知分布数据的样本，可以提高任务的泛化性能，但随着样本数量的增加，泛化误差达到阈值后会逐渐下降；我们采用合成数据集上的Fisher's Linear Discriminant和计算机视觉基准数据集（如MNIST、CIFAR-10、CINIC-10、PACS和DomainNet）上的深度神经网络来证明这一现象；在我们知道哪些样本是未知分布的理想情况下，我们可以使用适当加权的目标和外部风险的目标函数来利用这些非单调趋势，但其实际效用有限，此外，当我们不知道哪些样本是未知分布时，数据增强、超参数优化和预训练等常用策略仍然无法保证目标泛化误差不会随着未知分布样本数量的增加而下降。

Aug, 2022

通过理论研究发现，EMR本质上学习了误差特征和不变特征，并且在EMR预训练期间学习的特征质量显着影响了最终的OOD性能。为了解决这个问题，我们提出了特征增强训练（FAT），通过保留已经学习到的特征并增加新的特征来强制模型学习所有有用的特征，并在不同子集的训练数据上执行保留和增强操作。广泛的实验表明，当应用于各种目标时，FAT有效地学习更丰富的特征并持续改善OOD性能。

Apr, 2023

深度神经网络在现实应用中会遇到来自分布失真和对抗性攻击的数据，本综述聚焦于这两个领域的交叉研究，探讨如何通过鲁棒的分布失真检测和统一的鲁棒性进行对抗性攻击和对分布失真数据的健壮处理。

Apr, 2024

本研究针对深度学习在处理分布外数据时性能下降的问题，提出了一种新颖的特征去耦合方法，以减少非关键特征之间的虚假相关性，通过正交化类别和背景损失的梯度来实现。此外，研究还优化了神经架构搜索技术，以发现对分布外泛化性能优良的网络架构。结果表明，该方法在不同的分布变化下具有良好的泛化能力。

Oct, 2024