Mar, 2023

Aux-Drop: 辅助 Dropout 处理在线学习中的非正常输入

PDF
TL;DR该研究提出了一种名为 Aux-Drop 的深度学习辅助随机失活正则化策略，用于有效处理基于在线学习的无序输入特征，已在多个数据集上进行了广泛的数值实验检验其有效性。
online learningdropout regularizationhaphazard input featuresdeep learningnumerical experiments
发现论文，激发创造
  • 辅助网络：针对动态系统的可扩展和灵活的在线学习，处理不一致可用输入

    该研究提出了一种基于深度学习的模型 —— 辅助网络（Aux-Net），其采用加权集成分类器来处理输入特征数量的变化，具有可扩展性和敏捷性。Aux-Net 基于对冲算法和在线梯度下降算法，使用单次学习中的深度变化模型，适用于动态复杂环境，使能够处理不连贯的输入数据。在公共数据集上，实验证明了辅助网络的有效性。

    Aug, 2020

  • 课程辍学

    本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

    Mar, 2017

  • 监督学习和半监督学习中的对抗性随机失活

    该研究探讨使用对抗性失活的方法改进神经网络的泛化性能，发现对抗失活增加了神经网络的稀疏度，从而改进了 MNIST 和 CIFAR-10 数据集上的监督和半监督学习任务的泛化性能。

    Jul, 2017

  • 自适应正则化的 Dropout 训练

    该研究论文通过将 dropout 解释为一种正则化方法，建立了它与 L2 正则化和 AdaGrad 的联系。进一步地，该方法可被应用于半监督学习，旨在提高模型性能，并在文本分类任务中得到了成功应用。

    Jul, 2013

  • AD-DROP: 基于归因的 Dropout 技术用于鲁棒性语言模型微调

    该研究探讨了使用 dropout 来防止预训练语言模型在有限的数据训练时出现的过拟合问题，提出了一种名为 AD-DROP 的基于注意力机制的策略来防止高度依赖性的高注意力位置被过度舍弃，通过交替使用模型调优后和 AD-DROP 来避免过度舍弃高注意力位置，从而避免过度拟合问题。该研究实验结果表明，AD-DROP 可以提高模型的预测能力并防止过拟合现象的发生。

    Oct, 2022

  • AutoDropout: 学习 Dropout 模式以规范深度网络

    本文提出了一种新的 dropout 方法 —— 学习 dropout 模式。通过控制器在每个通道和层生成 dropout 模式，并利用其对目标网络进行训练，该方法被证明对图像识别和语言模型都有效。通过学习 dropout 模式，该模式还可以适应不同的任务和数据集。

    Jan, 2021

  • Dropout 作为数据增强

    使用 dropout 技术进行网络训练时，可以在不需要领域知识的情况下将 dropout 噪声在输入空间内作为数据增强的一种方法，将其投影回生成增广数据的输入空间并成功地训练出类似的结果。最后，提出了一种新的基于 dropout 噪声的方案，并证明它可以提高 dropout 效果同时不添加显著的计算成本。

    Jun, 2015

  • Dropout 减少过拟合

    本文研究表明，与只在训练后期使用 dropout 的模型不同，在训练开始时使用 dropout 可减弱梯度方向差异和限制单个批次对模型训练的影响，从而更好地提高模型的泛化精度。

    Mar, 2023

  • R-Drop: 神经网络的正则化丢弃

    本文中介绍了一种简单的正则化方法 R-Drop，该方法强制不同子模型生成的输出分布相互一致，从而提高了深度学习模型的效果。通过在 5 个深度学习任务（包括神经机器翻译、摘要概括、语言理解、语言建模和图像分类）上的实验证明，R-Drop 是普遍有效的，并在 Vanilla Transformer 模型上实现了最先进的性能。

    Jun, 2021

  • Dropout: 显式形式和容量控制

    研究了 Dropout 在不同机器学习问题中提供的容量控制能力。在深度学习中，Dropout 的数据依赖正则化直接控制了基本深度神经网络类的 Rademacher 复杂度，并在矩阵完成和训练深度神经网络中给出了具体的泛化误差界限。在真实数据集，包括 MovieLens，MNIST 和 Fashion-MNIST 上评估了理论发现。

    Mar, 2020