ACLApr, 2021

UniDrop：一种简单而有效的技术，可以在不增加额外成本的情况下提高 Transformer 的性能

PDF
TL;DR该论文介绍如何将不同的 dropout 技术整合到 Transformer 模型的训练中，从而提高其性能。实验结果表明，使用 UniDrop 可以在 IWSLT14 翻译任务中取得约 1.5 BLEU 的改进，并且即使在强大的预训练 RoBERTa 下，文本分类的准确性也有所提高。
transformer architecturedropout techniquesunidropneural machine translationtext classification
发现论文，激发创造
  • 结构化丢弃降低 Transformer 深度

    本文介绍了一种新的结构化 dropout 形式 ——LayerDrop，该形式可在训练过程中实现正则化效果，在推理时允许有效的剪枝。作者通过实验证明了该方法对机器翻译、语言模型、文本摘要、问答和语言理解等基准测试的提升，并提出使用该方法可以得到更高质量的类 BERT 模型。

    Sep, 2019

  • DropDim：Transformer 网络的一种正则化方法

    介绍了 DropDim，一种用于规范 Transformer 中关键组件 —— 自我注意力机制的结构化丢弃方法。与通用的随机丢弃方法不同，DropDim 会丢弃嵌入维度的一部分，从而避免了嵌入维度间的过多协同适应。实验证明，DropDim 能够有效地提高模型性能，在防止过拟合和与其他规范方法互补方面表现出色。

    Apr, 2023

  • 利用渐进式层丢弃加速基于 Transformer 的语言模型训练

    本文提出了基于渐进式层丢弃的方法，通过模型结构和训练技术的提升效率，加速了基于 Transformer 的语言模型的训练，相较于基准实验可以在每个样本上平均节省 24% 的时间，让预训练速度提高 2.5 倍，同时保持强的知识可迁移性。

    Oct, 2020

  • 神经语言模型的逐层正则化丢弃

    我们提出了一种特别为基于 Transformer 的语言模型设计的新型 Layer-wise Regularized Dropout (LR-Drop) 方法，通过一些研究使用一致性训练在输出层对 dropout 进行规范化，每个 Transformer 层通过一致性训练策略进行层内规范化，通过在多个数据集上进行大量实验证明，LR-Drop 可以达到卓越的性能，包括最先进的结果。

    Feb, 2024

  • 重新审视结构化 Dropout

    本文研究使用多个有构造性的 Dropout 方法在多个现代神经网络上进行自然语言处理和计算机视觉任务。我们提出了一种名为 ProbDropBlock 的方法，该方法可以提高模型的性能，并且已经在 RoBERTa 和 ImageNet 上得到验证。

    Oct, 2022

  • R-Drop: 神经网络的正则化丢弃

    本文中介绍了一种简单的正则化方法 R-Drop，该方法强制不同子模型生成的输出分布相互一致，从而提高了深度学习模型的效果。通过在 5 个深度学习任务（包括神经机器翻译、摘要概括、语言理解、语言建模和图像分类）上的实验证明，R-Drop 是普遍有效的，并在 Vanilla Transformer 模型上实现了最先进的性能。

    Jun, 2021

  • 神经机器翻译的 Token Drop 机制

    通过引入 Token Drop 以及两种自监督目标，提升神经机器翻译的泛化能力和避免过拟合，实验结果表明该方法在中英和英罗马尼亚基准数据集上表现显著优于强 Transformer 基线模型。

    Oct, 2020

  • 神经主题模型真的需要 Dropout 吗？对 Topic Modeling 中 Dropout 效果的分析

    本文分析了在三种神经主题模型（CTM，ProdLDA 和 ETM）使用 VAE 的编码器和解码器中的 Dropout 对生成主题的质量和预测性能的影响。

    Mar, 2023

  • Bi-Drop: 适应性子网络优化的预训练语言模型通用微调

    本研究提出了一种基于 Bi-Drop 的动态微调策略，利用 dropout 生成的各种子模型的梯度信息有选择地更新模型参数，实验表明，Bi-Drop 在 GLUE 基准上表现优异，在多任务或领域转移中，以及数据不平衡和低资源情况下均有显著改进，并具有出色的泛化能力和鲁棒性。

    May, 2023

  • LoRA 遇见 Dropout: 一个统一框架下的研究

    基于对参数高效 LoRA 的研究，我们重新审视了特定于 Transformer 的 Dropout 方法的数学和经验上的等价性和区别，并基于此提出了一个统一的框架，揭示了当涉及到有限可训练参数时它们的新偏好和性能比较。这个框架还允许我们将最有利的方面融合成一个名为 HiddenKey 的新的 Dropout 方法，广泛的实验证实 HiddenKey 在多个模型和任务上具有显著的优势和足够性，将其作为大语言模型高性能和参数高效微调的首选方法。

    Feb, 2024