Nov, 2016

广义 Dropout

PDF
TL;DR研究表明，Dropout 不仅是一种常用的 Deep Learning 正则化器，而且可以视为对网络参数进行近似贝叶斯推断的一种方式。该论文提出了一种名为 Generalized Dropout 的正则化器家族，并介绍了该家族的一些成员，如可训练参数版本的 Dropout++ 和选择神经网络层宽的方法。实验证明，这些方法比 Dropout 在泛化性能方面更好。
deep neural networksregularizersdropoutapproximate bayesian inferencegeneralized dropout
发现论文，激发创造
  • 课程辍学

    本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

    Mar, 2017

  • 期望线性正则化的随机失活

    本文通过将 dropout 看作一种可计算潜在变量的方法来理解其 Tractability，提出了 (approximate) expectation-linear dropout 神经网络，进一步分析了训练和推理中的推断 gap，并证明了通过规范化 dropout 培训目标可以有效地控制推断 gap。实验结果表明减少推断 Gap 可以提高图像分类性能。

    Sep, 2016

  • Dropout 作为贝叶斯近似：在深度学习中表示模型不确定性

    本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

    Jun, 2015

  • 关于结构化 Dropout 正则化特性的研究

    单层线性网络中，DropBlock 引入了谱 k-support 正则化，促使解具有低秩和等范数的因子。这个全局极小值可以用闭合形式计算。若在最后一层应用 Dropout，某些假设下此结果可扩展到 Dropout 策略的一般类和深度非线性网络中，并用经常使用的网络结构实验验证了理论结论和假设。

    Oct, 2019

  • R-Drop: 神经网络的正则化丢弃

    本文中介绍了一种简单的正则化方法 R-Drop，该方法强制不同子模型生成的输出分布相互一致，从而提高了深度学习模型的效果。通过在 5 个深度学习任务（包括神经机器翻译、摘要概括、语言理解、语言建模和图像分类）上的实验证明，R-Drop 是普遍有效的，并在 Vanilla Transformer 模型上实现了最先进的性能。

    Jun, 2021

  • 深度神经网络的 Dropout 方法调查

    本文总结了 dropout 方法的历史、各种应用以及当前研究兴趣的领域，同时详细描述了一些重要的提出方法。

    Apr, 2019

  • 快速 dropout 及其在循环网络中的应用

    本文研究了快速 Dropout（一种用于常规线性模型和神经网络的正则化方法）的后向传递启发式视角，证明了它实现了自适应、参数之间的二次正则化项，对欠拟合情况下的大权重进行奖励，对过度自信预测进行惩罚，并在未正则化的训练损失极小值处消失。该正则化项的导数完全基于训练误差信号，因此没有全局权重吸引器，这可以改善 RNN 的性能。作者基于四个音乐数据集，证实了该假设。

    Nov, 2013

  • Dropout 作为贝叶斯近似：附录

    采用随机失活（dropout）技术的神经网络可以被等效地表示为贝叶斯模型的一种逼近，该方法可以帮助我们更好地理解神经网络中的不确定性并将贝叶斯方法引入深度学习框架。

    Jun, 2015

  • 自适应正则化的 Dropout 训练

    该研究论文通过将 dropout 解释为一种正则化方法，建立了它与 L2 正则化和 AdaGrad 的联系。进一步地，该方法可被应用于半监督学习，旨在提高模型性能，并在文本分类任务中得到了成功应用。

    Jul, 2013

  • 引导式 Dropout

    本研究提出了一种基于引导选择节点赋予权重的智能随机失活方法，在多个数据集上的实验评估证明了该方法在提高深度神经网络泛化能力方面的有效性。

    Dec, 2018