数据增强代替显式正则化
通过探索一种更加广义的混合样本数据增强方法，可以发现一大类实用的数据增强技术，包括超越之前最先进技术的方法，从而提高性能，并表明当前的有效性理论是不完整的，建立这种理论必须解释更广泛的现象。
May, 2018
研究表明，对于深度神经网络的正则化应在其初期而非后期进行，且应当重视学习过程中的瞬态行为而非渐进行为。
May, 2019
本文研究数据增强在卷积神经网络中的隐式规则效应，与显式正则化技术（如权重衰减和Dropout）相比，数据增强能更易于适应不同的网络结构和训练数据。通过对不同网络架构和训练数据量的消融研究，我们揭示了数据增强的优势，这是长期被忽视的问题。
Jun, 2019
利用数据增强作为正则化方式，我们从解析角度重新考虑了数据增强在深度神经网络中的泛化问题，并发现它显著降低了模型泛化误差，但同时也导致略微增加了经验风险。使用较少的数据对完整增强的数据进行训练能够帮助模型更好地收敛于更好的区域，从而进一步提高准确性。
Sep, 2019
采用“Deep Augmentation”方法，通过在神经网络内部针对性地应用dropout实现数据增广，并采用stop-gradient操作进一步提高模型性能和泛化能力，在视觉和自然语言处理领域的对比学习任务中通过对ResNets和Transformers模型的广泛实验证明效果显著，与增广输入数据相比，针对深层模型的Deep Augmentation效果更好，而且该方法简单且对网络和数据无限制，方便集成到计算机视觉和自然语言处理流程中。
Mar, 2023
本文研究深度图像神经网络模型压缩与数据增广之间的关系，发现不同大小的模型喜欢不同大小的增广，且可以通过预测已训练模型来度量数据增广的难度，从而提出更好的数据增广策略。
May, 2023
通过研究隐性正则化的梯度轨迹，借鉴深度线性网络梯度下降隐式正则化向低秩解的偏好性，并提出显式惩罚来模拟这种偏好，从而使单层网络可以达到深度线性网络相同的低秩逼近性能。
Jun, 2023
在非领域内和领域泛化设置中，通过使用均匀采样的标准数据增强转换，增加转换的强度以适应领域外的更高数据差异，并设计新的奖励函数来拒绝可能损害训练的极端转换，我们的数据增强方案达到与基准领域泛化数据集上的最先进方法相媲美甚至更好的准确性。
Oct, 2023