AAAIJan, 2021

AutoDropout: 学习 Dropout 模式以规范深度网络

PDF
TL;DR本文提出了一种新的 dropout 方法 —— 学习 dropout 模式。通过控制器在每个通道和层生成 dropout 模式，并利用其对目标网络进行训练，该方法被证明对图像识别和语言模型都有效。通过学习 dropout 模式，该模式还可以适应不同的任务和数据集。
neural networksregularizationdropblocklanguage modelinglearned dropout patterns
发现论文，激发创造
  • DropBlock: 卷积网络的一种正则化方法

    本文介绍了一种结构化的 DropBlock 正则化形式，适用于卷积神经网络。在 ImageNet 分类和 COCO 检测中，使用 DropBlock 对 ResNet-50 和 RetinaNet 的平均精度和准确率都有了明显的提升。

    Oct, 2018

  • 课程辍学

    本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

    Mar, 2017

  • 关于结构化 Dropout 正则化特性的研究

    单层线性网络中，DropBlock 引入了谱 k-support 正则化，促使解具有低秩和等范数的因子。这个全局极小值可以用闭合形式计算。若在最后一层应用 Dropout，某些假设下此结果可扩展到 Dropout 策略的一般类和深度非线性网络中，并用经常使用的网络结构实验验证了理论结论和假设。

    Oct, 2019

  • 重新审视结构化 Dropout

    本文研究使用多个有构造性的 Dropout 方法在多个现代神经网络上进行自然语言处理和计算机视觉任务。我们提出了一种名为 ProbDropBlock 的方法，该方法可以提高模型的性能，并且已经在 RoBERTa 和 ImageNet 上得到验证。

    Oct, 2022

  • 使用目标化 dropout 学习稀疏网络

    使用有针对性的 dropout 进行神经网络的训练，可以使网络更容易剪枝并且保持稀疏性。

    May, 2019

  • 谱 Dropout 正则化深度神经网络

    提出了一种称为 `Spectral Dropout' 的新方法，它可以通过固定基函数的正交变换的形式将其转化为正则卷积神经网络 (CNN) 的权重层，通过消除神经网络激活的弱且嘈杂的傅里叶系数来预防过拟合，相比当前正则化方法具有显著提高网络收敛速度以及神经元精简率的效果，并且可以与其他正则化方法共同使用。

    Nov, 2017

  • R-Drop: 神经网络的正则化丢弃

    本文中介绍了一种简单的正则化方法 R-Drop，该方法强制不同子模型生成的输出分布相互一致，从而提高了深度学习模型的效果。通过在 5 个深度学习任务（包括神经机器翻译、摘要概括、语言理解、语言建模和图像分类）上的实验证明，R-Drop 是普遍有效的，并在 Vanilla Transformer 模型上实现了最先进的性能。

    Jun, 2021

  • Dropout: 显式形式和容量控制

    研究了 Dropout 在不同机器学习问题中提供的容量控制能力。在深度学习中，Dropout 的数据依赖正则化直接控制了基本深度神经网络类的 Rademacher 复杂度，并在矩阵完成和训练深度神经网络中给出了具体的泛化误差界限。在真实数据集，包括 MovieLens，MNIST 和 Fashion-MNIST 上评估了理论发现。

    Mar, 2020

  • R-Block: 卷积网络的正则化 Dropout 块

    通过引入互相学习的训练策略，即 R-Block，结合两个不同 dropout 区域的互补子模型，该方法能够减小卷积层中的随机性，提高了性能和一致性。

    Jul, 2023

  • 广义 Dropout

    研究表明，Dropout 不仅是一种常用的 Deep Learning 正则化器，而且可以视为对网络参数进行近似贝叶斯推断的一种方式。该论文提出了一种名为 Generalized Dropout 的正则化器家族，并介绍了该家族的一些成员，如可训练参数版本的 Dropout++ 和选择神经网络层宽的方法。实验证明，这些方法比 Dropout 在泛化性能方面更好。

    Nov, 2016