May, 2023

基于双指数族的扩展广义线性模型中的 Dropout 正则化

PDF
TL;DR在广义线性模型中研究 dropout 正则化的理论属性，应用于自适应平滑，表明 dropout 是一种有效的正则化方法，优于带有显式平滑惩罚的最大似然方法。
dropout regularizationgeneralized linear modelsstochastic gradient descentadaptive smoothingb-splines
发现论文，激发创造
  • 广义 Dropout

    研究表明，Dropout 不仅是一种常用的 Deep Learning 正则化器，而且可以视为对网络参数进行近似贝叶斯推断的一种方式。该论文提出了一种名为 Generalized Dropout 的正则化器家族，并介绍了该家族的一些成员，如可训练参数版本的 Dropout++ 和选择神经网络层宽的方法。实验证明，这些方法比 Dropout 在泛化性能方面更好。

    Nov, 2016

  • 期望线性正则化的随机失活

    本文通过将 dropout 看作一种可计算潜在变量的方法来理解其 Tractability，提出了 (approximate) expectation-linear dropout 神经网络，进一步分析了训练和推理中的推断 gap，并证明了通过规范化 dropout 培训目标可以有效地控制推断 gap。实验结果表明减少推断 Gap 可以提高图像分类性能。

    Sep, 2016

  • 自适应正则化的 Dropout 训练

    该研究论文通过将 dropout 解释为一种正则化方法，建立了它与 L2 正则化和 AdaGrad 的联系。进一步地，该方法可被应用于半监督学习，旨在提高模型性能，并在文本分类任务中得到了成功应用。

    Jul, 2013

  • 关于结构化 Dropout 正则化特性的研究

    单层线性网络中，DropBlock 引入了谱 k-support 正则化，促使解具有低秩和等范数的因子。这个全局极小值可以用闭合形式计算。若在最后一层应用 Dropout，某些假设下此结果可扩展到 Dropout 策略的一般类和深度非线性网络中，并用经常使用的网络结构实验验证了理论结论和假设。

    Oct, 2019

  • Dropout 的鲁棒性、一致性和差分隐私特性：保留还是舍弃？

    使用 dropout 来避免局部最小值的出现，同时也可用于稳定凸型 ERM 的梯度下降方法，从而提供准确且保护隐私的预测。

    Mar, 2015

  • 分段线性网络中的辍学现象实证分析

    研究表明使用 dropout 训练神经网络对于使用流行的修正线性激活函数的网络的有效性有多种问题，探究了测试时权重缩放推断过程的质量，比较了几何平均数和算术平均数的性能，研究了非绑定权重的集合解释对集合的效果，最后，我们调查了基于最大似然集合梯度的带有偏估计器的替代准则。

    Dec, 2013

  • 层次专家混合中的辍学正则化

    本研究提出了一种 Hierarchical mixture of experts 的 dropout 变种，用于防止多层神经网络中的过拟合，可以在许多层级的树上预防 overfitting，从而提高泛化性能和提供更平滑的拟合。

    Dec, 2018

  • 快速 dropout 及其在循环网络中的应用

    本文研究了快速 Dropout（一种用于常规线性模型和神经网络的正则化方法）的后向传递启发式视角，证明了它实现了自适应、参数之间的二次正则化项，对欠拟合情况下的大权重进行奖励，对过度自信预测进行惩罚，并在未正则化的训练损失极小值处消失。该正则化项的导数完全基于训练误差信号，因此没有全局权重吸引器，这可以改善 RNN 的性能。作者基于四个音乐数据集，证实了该假设。

    Nov, 2013

  • Dropout 的归纳偏差分析

    该研究论文探讨了 dropout 作为一种正则化技术在线性分类问题中的应用。通过比较不同正则化技术的表现，研究人员得出一些结论并分析了 dropout 的优势所在。

    Dec, 2014

  • 随机修正方程和 Dropout 算法的动力学

    本文研究了 dropout 过程中的梯度优化机制，使用模拟方法得出其随机修改方程，证明了 dropout 的正则化能力来自于其寻找更平稳的极小值点，实验结果表明这种机制在 dropout 的训练过程中普遍存在。

    May, 2023