关于 Dropout 的隐式偏差

ICMLJun, 2018

On the Implicit Bias of Dropout

Poorya Mianjy, Raman Arora, Rene Vidal

TL;DR本文主要研究 dropout 在深度学习中的应用，发现 dropout 会在单隐藏层线性神经网络中导致隐藏节点的输入 / 输出权重向量模长相等，同时提供了 dropout 所导致的优化景观的完整特征描述。

Abstract

Algorithmic approaches endow deep learning systems with implicit bias that helps them generalize even in over-parametrized settings. In this paper, we focus on understanding such a →

deep learning dropout bias optimization landscape linear neural networks

发现论文，激发创造

Dropout 的归纳偏差分析

该研究论文探讨了 dropout 作为一种正则化技术在线性分类问题中的应用。通过比较不同正则化技术的表现，研究人员得出一些结论并分析了 dropout 的优势所在。

Dec, 2014

分段线性网络中的辍学现象实证分析

研究表明使用 dropout 训练神经网络对于使用流行的修正线性激活函数的网络的有效性有多种问题，探究了测试时权重缩放推断过程的质量，比较了几何平均数和算术平均数的性能，研究了非绑定权重的集合解释对集合的效果，最后，我们调查了基于最大似然集合梯度的带有偏估计器的替代准则。

Dec, 2013

Dropout 的隐式和显式正则化效应

本文研究了 dropout 正则化方法的两种作用：修改预期训练目标的明显作用和训练更新的随机性所导致的额外的隐含作用。通过对实验的控制和分析，提出了可以替换 dropout 的简化分析正则化器。

Feb, 2020

Dropout 作为贝叶斯近似：附录

采用随机失活（dropout）技术的神经网络可以被等效地表示为贝叶斯模型的一种逼近，该方法可以帮助我们更好地理解神经网络中的不确定性并将贝叶斯方法引入深度学习框架。

Jun, 2015

引导式 Dropout

本研究提出了一种基于引导选择节点赋予权重的智能随机失活方法，在多个数据集上的实验评估证明了该方法在提高深度神经网络泛化能力方面的有效性。

Dec, 2018

将辍学学习视为集成学习的分析

通过 dropout learning 减少神经网络中的过拟合，而将被舍弃的隐藏元素和学习到的网络结合起来就相当于集成学习。

Jun, 2017

Dropout: 显式形式和容量控制

研究了 Dropout 在不同机器学习问题中提供的容量控制能力。在深度学习中，Dropout 的数据依赖正则化直接控制了基本深度神经网络类的 Rademacher 复杂度，并在矩阵完成和训练深度神经网络中给出了具体的泛化误差界限。在真实数据集，包括 MovieLens，MNIST 和 Fashion-MNIST 上评估了理论发现。

Mar, 2020

贝叶斯鼓励辍学

从贝叶斯的角度阐述了 dropout 的作用以及其对权重参数学习与预测的优化，实验证明了 dropout 的优化具有积极效果。

Dec, 2014

课程辍学

本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

Mar, 2017

深度线性网络中初始化对隐性偏差的作用

该研究聚焦于探索深度学习中的隐含偏差现象，具体研究了权重初始化对优化和泛化问题的影响，通过调查使用深度网络解决欠定线性系统问题时初始化的隐式正则化的作用，有助于更全面地理解深度学习的性能特点。

Feb, 2024