Apr, 2019

深度卷积神经网络中有效高效的 dropout

PDF
TL;DR本文主要研究卷积神经网络（CNNs）的正则化问题，提出了几种改进的 dropout 变体，通过在卷积操作之前放置 dropout 操作或将 BN 替换为 GN，以减少 dropout 和其后的 BN 之间的矛盾，以提高 CNNs 的训练效果和正则化。实验证明，通过这些方法构建的 CNN 的性能明显优于现有的 CNN，这主要归功于更好的正则化和隐式模型集成效应。
发现论文，激发创造
  • DropBlock: 卷积网络的一种正则化方法

    本文介绍了一种结构化的 DropBlock 正则化形式，适用于卷积神经网络。在 ImageNet 分类和 COCO 检测中，使用 DropBlock 对 ResNet-50 和 RetinaNet 的平均精度和准确率都有了明显的提升。

    Oct, 2018

  • Dropout 减少过拟合

    本文研究表明，与只在训练后期使用 dropout 的模型不同，在训练开始时使用 dropout 可减弱梯度方向差异和限制单个批次对模型训练的影响，从而更好地提高模型的泛化精度。

    Mar, 2023

  • 深度神经网络的 Dropout 方法调查

    本文总结了 dropout 方法的历史、各种应用以及当前研究兴趣的领域，同时详细描述了一些重要的提出方法。

    Apr, 2019

  • R-Block: 卷积网络的正则化 Dropout 块

    通过引入互相学习的训练策略，即 R-Block，结合两个不同 dropout 区域的互补子模型，该方法能够减小卷积层中的随机性，提高了性能和一致性。

    Jul, 2023

  • 课程辍学

    本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

    Mar, 2017

  • 重新审视结构化 Dropout

    本文研究使用多个有构造性的 Dropout 方法在多个现代神经网络上进行自然语言处理和计算机视觉任务。我们提出了一种名为 ProbDropBlock 的方法，该方法可以提高模型的性能，并且已经在 RoBERTa 和 ImageNet 上得到验证。

    Oct, 2022

  • 卷积神经网络的 Dropout 训练

    本研究发现 max-pooling 的 dropout 等同于在训练时基于多项式分布随机选择激活，提出了概率加权池化来代替常用的 max-pooling，并在 MNIST 数据集上实现了 state-of-the-art 的结果，在 CIFAR-10 和 CIFAR-100 数据集上也取得了非常有竞争力的结果，最后比较了 max-pooling dropout 和随机池化的效果。

    Dec, 2015

  • 广义 Dropout

    研究表明，Dropout 不仅是一种常用的 Deep Learning 正则化器，而且可以视为对网络参数进行近似贝叶斯推断的一种方式。该论文提出了一种名为 Generalized Dropout 的正则化器家族，并介绍了该家族的一些成员，如可训练参数版本的 Dropout++ 和选择神经网络层宽的方法。实验证明，这些方法比 Dropout 在泛化性能方面更好。

    Nov, 2016

  • 使用嵌套 Dropout 学习紧凑的卷积神经网络

    研究探讨了 Nested Dropout 在通过反向传播训练的卷积神经网络中的应用，以确定与所需精度和所需任务和数据复杂度相对应的最佳表示大小。

    Dec, 2014

  • 引导式 Dropout

    本研究提出了一种基于引导选择节点赋予权重的智能随机失活方法，在多个数据集上的实验评估证明了该方法在提高深度神经网络泛化能力方面的有效性。

    Dec, 2018