本研究提出使用多项式抽样的退役方法，并分析了使用多项式退役的浅层学习。通过最小化风险界中的采样相关因子，我们获得了基于分布的退役，用于处理深度学习中的神经元演化问题，进一步提出了一种名为“进化退役”的自适应退役，以从小批量示例即时计算采样概率。实证研究表明，与标准的退役相比，所提出的退役不仅实现了更快的收敛速度，而且在预测性能和收敛速度上都有超过10％和50％的相对改进。

Feb, 2016

研究表明，Dropout不仅是一种常用的Deep Learning正则化器，而且可以视为对网络参数进行近似贝叶斯推断的一种方式。该论文提出了一种名为Generalized Dropout的正则化器家族，并介绍了该家族的一些成员，如可训练参数版本的Dropout++和选择神经网络层宽的方法。实验证明，这些方法比Dropout在泛化性能方面更好。

Nov, 2016

本研究采用变分丢失技术，提供了一种优雅的高斯丢失的贝叶斯解释，将其扩展到丢失速率无界的情况，提出一种减少梯度估计器方差的方法，并在每个权重的情况下报告第一个实验结果。有趣的是，在完全连接和卷积层中都导致极度稀疏的解决方案。这种效应类似于实证贝叶斯中的自动相关确定效应，但具有许多优势。我们在LeNet架构上将参数减少了最多280倍，并在类似VGG的网络上将参数减少了最多68倍，同时准确度几乎不减。

Jan, 2017

本文主要研究dropout在深度学习中的应用，发现dropout会在单隐藏层线性神经网络中导致隐藏节点的输入/输出权重向量模长相等，同时提供了dropout所导致的优化景观的完整特征描述。

Jun, 2018

采用防御性抛弃策略来提高神经网络模型的抵御对抗攻击能力，优化测试抛弃率，并通过攻击方与防御方的博弈过程来确定最优策略。相较于随机激活剪枝等其他防御方法，防御性抛弃在MNIST数据集上的攻击成功率可以由100％降至13.89％。

Sep, 2018

本研究提出了一种基于引导选择节点赋予权重的智能随机失活方法，在多个数据集上的实验评估证明了该方法在提高深度神经网络泛化能力方面的有效性。

Dec, 2018

本文总结了dropout方法的历史、各种应用以及当前研究兴趣的领域，同时详细描述了一些重要的提出方法。

Apr, 2019

本文研究了dropout正则化方法的两种作用：修改预期训练目标的明显作用和训练更新的随机性所导致的额外的隐含作用。通过对实验的控制和分析，提出了可以替换dropout的简化分析正则化器。

Feb, 2020

本文研究表明，与只在训练后期使用dropout的模型不同，在训练开始时使用dropout可减弱梯度方向差异和限制单个批次对模型训练的影响，从而更好地提高模型的泛化精度。

Mar, 2023

本文研究了Dropout技术在语言模型训练中减轻过拟合的重要作用，特别是变量Dropout率对各个层和残差连接的影响。研究发现，合适的残差连接深度和Dropout的平衡可以显著提高深度神经网络的收敛性和泛化能力。

Oct, 2024