NIPSFeb, 2016

浅层和深度学习的改进 Dropout

PDF
TL;DR本研究提出使用多项式抽样的退役方法，并分析了使用多项式退役的浅层学习。通过最小化风险界中的采样相关因子，我们获得了基于分布的退役，用于处理深度学习中的神经元演化问题，进一步提出了一种名为 “进化退役” 的自适应退役，以从小批量示例即时计算采样概率。实证研究表明，与标准的退役相比，所提出的退役不仅实现了更快的收敛速度，而且在预测性能和收敛速度上都有超过 10％和 50％的相对改进。
发现论文，激发创造
  • 多样本 Dropout 用于加速训练与提高泛化能力

    该论文介绍了一种名为 “多样本丢弃” 的强化丢弃 (dropout) 技术，它可以加速训练并提高网络的泛化性能。该方法采用多个丢弃样本进行训练，并通过对这些样本的损失值求平均来减少过拟合，实验结果表明，相比原始的 dropout 技术，使用该方法可以得到更低的分类错误率。

    May, 2019

  • 上下文丢弃：一种高效的样本相关丢弃模块

    本文提出了上下文辍学模块，采用有效的结构设计作为一个简单和可伸缩的样本依赖性辍学模块，可应用于各种模型中，展示了该方法的可伸缩性在大规模数据集上的实验结果显示，该方法在准确性和不确定性估计质量方面优于基线方法。

    Mar, 2021

  • 课程辍学

    本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

    Mar, 2017

  • 卷积神经网络的 Dropout 训练

    本研究发现 max-pooling 的 dropout 等同于在训练时基于多项式分布随机选择激活，提出了概率加权池化来代替常用的 max-pooling，并在 MNIST 数据集上实现了 state-of-the-art 的结果，在 CIFAR-10 和 CIFAR-100 数据集上也取得了非常有竞争力的结果，最后比较了 max-pooling dropout 和随机池化的效果。

    Dec, 2015

  • Dropout 作为一种结构收缩先验

    研究了深度神经网络的 dropout 正则化并提出了一种新的框架来理解深度神经网络中的加性噪声。研究了多种不同噪声并导出了其等价性，进而使 dropout 的 Monte Carlo 训练目标逼近了边缘 MAP 估计。进一步基于这些洞见提出了一种新的收缩框架用于深度神经网络，并对两种改进后的推理策略在回归基准测试中进行了调查。

    Oct, 2018

  • 通过采样强健地表示深度神经网络中的不确定性

    本研究测试了 Bernoulli 和 Gaussian 多元噪声采样的权重分别采用 multiplier masking 和 dropconnect 所训练出的神经元网络在 MNIST 和 CIFAR-10 数据集上的概率预测矫正性能。结论表明，在进行预测时进行 Bernoulli dropout 和 Gaussian dropconnect 的并行采样，可以得到 Spike-and-slab 变分分布，避免增加所学参数数量的同时，获得比 Bernoulli dropout 和 Gaussian dropconnect 都更准确和稳健的表征结果。

    Nov, 2016

  • 引导式 Dropout

    本研究提出了一种基于引导选择节点赋予权重的智能随机失活方法，在多个数据集上的实验评估证明了该方法在提高深度神经网络泛化能力方面的有效性。

    Dec, 2018

  • 深度神经网络的采样权重

    我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数，通过玩具模型和实际数据集的实验，证明了我们构造的采样网络是普适逼近器，并且采样框架对于输入数据的缩放和旋转是不变的，这意味着许多流行的预处理技术不再需要。

    Jun, 2023

  • 连续性舍弃

    通过将传统的二值 Dropout 扩展为连续 Dropout，本文介绍了一种更贴近于神经元活动特性的 Dropout 算法，并在多个图像数据集上和其他 Dropout 算法进行对比实验，结果表明该方法在避免特征检测器的共适应方面表现更好，同时提高了测试性能。

    Nov, 2019

  • 卷积神经网络正则化的最大池化减少丢失方法

    这篇论文研究了深度学习中 dropout 技术在 pooling layer 中的应用，提出了一种基于概率加权的 pooling 方法，称为 probabilistic weighted pooling，并通过实验证明了它的优越性。

    Dec, 2015