研究表明使用dropout训练神经网络对于使用流行的修正线性激活函数的网络的有效性有多种问题，探究了测试时权重缩放推断过程的质量，比较了几何平均数和算术平均数的性能，研究了非绑定权重的集合解释对集合的效果，最后，我们调查了基于最大似然集合梯度的带有偏估计器的替代准则。

Dec, 2013

使用dropout技术进行网络训练时，可以在不需要领域知识的情况下将dropout噪声在输入空间内作为数据增强的一种方法，将其投影回生成增广数据的输入空间并成功地训练出类似的结果。最后，提出了一种新的基于dropout噪声的方案，并证明它可以提高dropout效果同时不添加显著的计算成本。

Jun, 2015

本研究发现max-pooling的dropout等同于在训练时基于多项式分布随机选择激活，提出了概率加权池化来代替常用的max-pooling，并在MNIST数据集上实现了state-of-the-art的结果，在CIFAR-10和CIFAR-100数据集上也取得了非常有竞争力的结果，最后比较了max-pooling dropout和随机池化的效果。

Dec, 2015

本研究提出了一种名为“课程退火”的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

Mar, 2017

本研究比较了Dropout和Stochastic Delta Rule两种算法在神经网络的参数估计任务上的表现，结果发现SDR相对于Dropout具有更好的性能。

Aug, 2018

本研究提出了一种Hierarchical mixture of experts的dropout变种，用于防止多层神经网络中的过拟合，可以在许多层级的树上预防overfitting，从而提高泛化性能和提供更平滑的拟合。

Dec, 2018

使用有针对性的dropout进行神经网络的训练，可以使网络更容易剪枝并且保持稀疏性。

May, 2019

本文提出了上下文辍学模块，采用有效的结构设计作为一个简单和可伸缩的样本依赖性辍学模块，可应用于各种模型中，展示了该方法的可伸缩性在大规模数据集上的实验结果显示，该方法在准确性和不确定性估计质量方面优于基线方法。

Mar, 2021

本文研究使用多个有构造性的Dropout方法在多个现代神经网络上进行自然语言处理和计算机视觉任务。我们提出了一种名为ProbDropBlock的方法，该方法可以提高模型的性能，并且已经在RoBERTa和ImageNet上得到验证。

Oct, 2022

使用高辍学率而不是集成技术，通过精细调整来获得丰富的表示，其实现出超过集成方法和权重平均方法的超越分布性能，从而为庞大预训练模型的微调情景提供了实际意义。

Mar, 2024