NIPSJul, 2013

自适应正则化的 Dropout 训练

PDF
TL;DR该研究论文通过将 dropout 解释为一种正则化方法，建立了它与 L2 正则化和 AdaGrad 的联系。进一步地，该方法可被应用于半监督学习，旨在提高模型性能，并在文本分类任务中得到了成功应用。
发现论文，激发创造
  • Dropout 的归纳偏差分析

    该研究论文探讨了 dropout 作为一种正则化技术在线性分类问题中的应用。通过比较不同正则化技术的表现，研究人员得出一些结论并分析了 dropout 的优势所在。

    Dec, 2014

  • Dropout: 显式形式和容量控制

    研究了 Dropout 在不同机器学习问题中提供的容量控制能力。在深度学习中，Dropout 的数据依赖正则化直接控制了基本深度神经网络类的 Rademacher 复杂度，并在矩阵完成和训练深度神经网络中给出了具体的泛化误差界限。在真实数据集，包括 MovieLens，MNIST 和 Fashion-MNIST 上评估了理论发现。

    Mar, 2020

  • 课程辍学

    本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

    Mar, 2017

  • 使用 Dropout 正则化从嘈杂标签中学习深度网络

    该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集上的数值实验显示，该 dropout 技术优于最先进的方法。

    May, 2017

  • Dropout 作为矩阵分解的低秩正则化器

    本文理论分析了使用 dropout 作为低秩正则化器以解决矩阵分解与逼近问题的表现，证明了基于伯努利随机变量的 dropout 等价于 MF 的完全确定性模型，其中因素用列的平方欧几里得范数积之和进行正则化，同时在变尺寸的矩阵分解情况下，使用 dropout 可以实现带（平方）核范数正则化的凸逼近问题的全局最小值。

    Oct, 2017

  • 广义 Dropout

    研究表明，Dropout 不仅是一种常用的 Deep Learning 正则化器，而且可以视为对网络参数进行近似贝叶斯推断的一种方式。该论文提出了一种名为 Generalized Dropout 的正则化器家族，并介绍了该家族的一些成员，如可训练参数版本的 Dropout++ 和选择神经网络层宽的方法。实验证明，这些方法比 Dropout 在泛化性能方面更好。

    Nov, 2016

  • 关于结构化 Dropout 正则化特性的研究

    单层线性网络中，DropBlock 引入了谱 k-support 正则化，促使解具有低秩和等范数的因子。这个全局极小值可以用闭合形式计算。若在最后一层应用 Dropout，某些假设下此结果可扩展到 Dropout 策略的一般类和深度非线性网络中，并用经常使用的网络结构实验验证了理论结论和假设。

    Oct, 2019

  • 支持向量机的 Dropout 训练

    本文介绍了用于线性支持向量机的 Dropout 训练。通过探索数据增强技术，我们开发了一个迭代的最小化可重加权最小二乘问题期望的 IRLS 算法。我们的算法在几个实际数据集上获得了显着改善分类准确性的效果。

    Apr, 2014

  • 期望线性正则化的随机失活

    本文通过将 dropout 看作一种可计算潜在变量的方法来理解其 Tractability，提出了 (approximate) expectation-linear dropout 神经网络，进一步分析了训练和推理中的推断 gap，并证明了通过规范化 dropout 培训目标可以有效地控制推断 gap。实验结果表明减少推断 Gap 可以提高图像分类性能。

    Sep, 2016

  • 基于双指数族的扩展广义线性模型中的 Dropout 正则化

    在广义线性模型中研究 dropout 正则化的理论属性，应用于自适应平滑，表明 dropout 是一种有效的正则化方法，优于带有显式平滑惩罚的最大似然方法。

    May, 2023