本文介绍了一种替换标准分支求和的随机仿射组合方法，用于改善深度学习中过拟合问题，结合掷骰子正则化可提高CIFAR-10和CIFAR-100测试准确度，对于跳跃连接或批量归一化的架构也有鼓舞人心的结果，具有广泛的应用前景。

May, 2017

本文提出一个名为 PatchShuffle 的新的正则化方法，可以帮助卷积神经网络（CNN）模型在数据较少的情况下改进其泛化能力，同时改善其对噪声和局部变化的鲁棒性。通过在本地补丁中混洗像素，PatchShuffle 生成具有内部无序补丁的图像和特征映射，从而创建丰富的本地变化。本文实验证明，采用 PatchShuffle 可以作为各种训练正则化技术（例如权值衰减，模型集成和 Dropout）的有益补充，并提高 CNN 模型的泛化能力。

Jul, 2017

本文介绍了一种结构化的DropBlock正则化形式，适用于卷积神经网络。在ImageNet分类和COCO检测中，使用DropBlock对ResNet-50和RetinaNet的平均精度和准确率都有了明显的提升。

Oct, 2018

本研究介绍一种新的正则化训练方法：Shakeout，通过随机增强或反转每个单元对下一层的影响，Shakeout相比于传统的Dropout在图像分类MNIST，CIFAR-10和ImageNet的实验中表现更好，可以有效避免过拟合，产生更稀疏的权重，以及减少深度神经网络训练过程的不稳定性。

Apr, 2019

该论文提出了一种基于自适应框架的CNN正则化方法，在目标领域使用有限的训练数据进行迁移学习。该方法没有明确目标，通过简单地尝试将图像表示回归到伪回归目标，动态地对CNN进行正则化。实验结果表明，与最近的一些最先进的方法相比，伪任务正则化改进了分类精度。

Aug, 2019

本文研究了dropout正则化方法的两种作用：修改预期训练目标的明显作用和训练更新的随机性所导致的额外的隐含作用。通过对实验的控制和分析，提出了可以替换dropout的简化分析正则化器。

Feb, 2020

本文提出了一种新的dropout方法——学习dropout模式。通过控制器在每个通道和层生成dropout模式，并利用其对目标网络进行训练，该方法被证明对图像识别和语言模型都有效。通过学习dropout模式，该模式还可以适应不同的任务和数据集。

Jan, 2021

本研究提出一种适应性梯度裁剪技术，用于训练基于 ResNet 框架的新型无归一化层神经网络（Normalizer-Free ResNets）。实验表明，这种无归一化层的神经网络在 ImageNet 图像分类准确率上可达到 state-of-the-art 水平，并且具有更快的训练速度以及更好的细调效果。

Feb, 2021

通过fine-tuning算法的正则化与self-labeling方法相互插值，从而提高在小数据集下的图像与文本分类表现。

Nov, 2021

研究表明，现有的数据增广和权重衰减等正则化技术会导致模型在某些类别上性能下降，从而证明需要研究不带类别偏差的新型正则化技术。

Apr, 2022