研究了 Dropout 在不同机器学习问题中提供的容量控制能力。在深度学习中，Dropout 的数据依赖正则化直接控制了基本深度神经网络类的 Rademacher 复杂度，并在矩阵完成和训练深度神经网络中给出了具体的泛化误差界限。在真实数据集，包括 MovieLens，MNIST 和 Fashion-MNIST 上评估了理论发现。

Mar, 2020

对深度神经网络进行对抗性示例训练通常导致对测试时的对抗数据泛化能力差，本论文通过 Rademacher 复杂度研究了这个问题，提出了上确界对于匹配标准设置中的最优上确界的 DNN 的对抗 Rademacher 复杂度，通过计算对抗函数类的覆盖数来解决核心挑战，并引入了一种新的覆盖数变体，称为 “均匀覆盖数”，以有效地填补稳健和标准泛化中的 Rademacher 复杂度差距。

Jun, 2024

本文总结了 dropout 方法的历史、各种应用以及当前研究兴趣的领域，同时详细描述了一些重要的提出方法。

Apr, 2019

本研究提出使用多项式抽样的退役方法，并分析了使用多项式退役的浅层学习。通过最小化风险界中的采样相关因子，我们获得了基于分布的退役，用于处理深度学习中的神经元演化问题，进一步提出了一种名为 “进化退役” 的自适应退役，以从小批量示例即时计算采样概率。实证研究表明，与标准的退役相比，所提出的退役不仅实现了更快的收敛速度，而且在预测性能和收敛速度上都有超过 10％和 50％的相对改进。

Feb, 2016

本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

Mar, 2017

研究了深度神经网络的 dropout 正则化并提出了一种新的框架来理解深度神经网络中的加性噪声。研究了多种不同噪声并导出了其等价性，进而使 dropout 的 Monte Carlo 训练目标逼近了边缘 MAP 估计。进一步基于这些洞见提出了一种新的收缩框架用于深度神经网络，并对两种改进后的推理策略在回归基准测试中进行了调查。

Oct, 2018

使用 dropout 技术可以极大地提高长短期记忆递归神经网络在无约束手写识别中的性能表现。

Nov, 2013

本文研究了快速 Dropout（一种用于常规线性模型和神经网络的正则化方法）的后向传递启发式视角，证明了它实现了自适应、参数之间的二次正则化项，对欠拟合情况下的大权重进行奖励，对过度自信预测进行惩罚，并在未正则化的训练损失极小值处消失。该正则化项的导数完全基于训练误差信号，因此没有全局权重吸引器，这可以改善 RNN 的性能。作者基于四个音乐数据集，证实了该假设。

Nov, 2013

通过将传统的二值 Dropout 扩展为连续 Dropout，本文介绍了一种更贴近于神经元活动特性的 Dropout 算法，并在多个图像数据集上和其他 Dropout 算法进行对比实验，结果表明该方法在避免特征检测器的共适应方面表现更好，同时提高了测试性能。

Nov, 2019

采用防御性抛弃策略来提高神经网络模型的抵御对抗攻击能力，优化测试抛弃率，并通过攻击方与防御方的博弈过程来确定最优策略。相较于随机激活剪枝等其他防御方法，防御性抛弃在 MNIST 数据集上的攻击成功率可以由 100％降至 13.89％。

Sep, 2018