本文通过将 dropout 看作一种可计算潜在变量的方法来理解其 Tractability，提出了 (approximate) expectation-linear dropout 神经网络，进一步分析了训练和推理中的推断 gap，并证明了通过规范化 dropout 培训目标可以有效地控制推断 gap。实验结果表明减少推断 Gap 可以提高图像分类性能。

Sep, 2016

本文主要研究 dropout 在深度学习中的应用，发现 dropout 会在单隐藏层线性神经网络中导致隐藏节点的输入 / 输出权重向量模长相等，同时提供了 dropout 所导致的优化景观的完整特征描述。

Jun, 2018

该研究论文探讨了 dropout 作为一种正则化技术在线性分类问题中的应用。通过比较不同正则化技术的表现，研究人员得出一些结论并分析了 dropout 的优势所在。

Dec, 2014

研究了深度神经网络的 dropout 正则化并提出了一种新的框架来理解深度神经网络中的加性噪声。研究了多种不同噪声并导出了其等价性，进而使 dropout 的 Monte Carlo 训练目标逼近了边缘 MAP 估计。进一步基于这些洞见提出了一种新的收缩框架用于深度神经网络，并对两种改进后的推理策略在回归基准测试中进行了调查。

Oct, 2018

本文研究了快速 Dropout（一种用于常规线性模型和神经网络的正则化方法）的后向传递启发式视角，证明了它实现了自适应、参数之间的二次正则化项，对欠拟合情况下的大权重进行奖励，对过度自信预测进行惩罚，并在未正则化的训练损失极小值处消失。该正则化项的导数完全基于训练误差信号，因此没有全局权重吸引器，这可以改善 RNN 的性能。作者基于四个音乐数据集，证实了该假设。

Nov, 2013

本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

Mar, 2017

使用高辍学率而不是集成技术，通过精细调整来获得丰富的表示，其实现出超过集成方法和权重平均方法的超越分布性能，从而为庞大预训练模型的微调情景提供了实际意义。

Mar, 2024

这篇论文研究了深度学习中 dropout 技术在 pooling layer 中的应用，提出了一种基于概率加权的 pooling 方法，称为 probabilistic weighted pooling，并通过实验证明了它的优越性。

Dec, 2015

研究了背景传播、深度网络、退出、参数收敛和特征去噪等方面的相互关系，提出了一种基于目标函数的反向传播收敛性分析框架，并通过实验验证了其正确性。

Nov, 2015

本研究发现 max-pooling 的 dropout 等同于在训练时基于多项式分布随机选择激活，提出了概率加权池化来代替常用的 max-pooling，并在 MNIST 数据集上实现了 state-of-the-art 的结果，在 CIFAR-10 和 CIFAR-100 数据集上也取得了非常有竞争力的结果，最后比较了 max-pooling dropout 和随机池化的效果。

Dec, 2015