COLINGSep, 2022

MaxMatch-Dropout: WordPiece 的子词规范化

PDF
TL;DR本文提出了一种用于 WordPiece 的子词规则化方法，使用最大匹配算法进行分词，并通过 MaxMatch-Dropout 方法实现对 BERT-base 等预训练语言模型的微调，实验证明该方法在文本分类和机器翻译任务以及其他子词规则化方法中的性能表现明显优于其他方法，同时还进行了 SentencePiece (Unigram)、BPE-Dropout 和 MaxMatch-Dropout 规则化方法的比较分析。
subword regularizationwordpiecetokenizationmaxmatch-dropoutpretrained language models
发现论文，激发创造
  • BPE-Dropout: 简单而有效的子词规范化

    本研究提出了一种名为 BPE-dropout 的简单有效的子词规则化方法，通过随机扰动 BPE 的分词过程，在相同的 BPE 框架下生成多个分词方法，使用 BPE-dropout 能够显著提高机器翻译质量，比使用 BPE 和其他子词规则化方法均能够带来更好的效果。

    Oct, 2019

  • 卷积神经网络正则化的最大池化减少丢失方法

    这篇论文研究了深度学习中 dropout 技术在 pooling layer 中的应用，提出了一种基于概率加权的 pooling 方法，称为 probabilistic weighted pooling，并通过实验证明了它的优越性。

    Dec, 2015

  • R-Drop: 神经网络的正则化丢弃

    本文中介绍了一种简单的正则化方法 R-Drop，该方法强制不同子模型生成的输出分布相互一致，从而提高了深度学习模型的效果。通过在 5 个深度学习任务（包括神经机器翻译、摘要概括、语言理解、语言建模和图像分类）上的实验证明，R-Drop 是普遍有效的，并在 Vanilla Transformer 模型上实现了最先进的性能。

    Jun, 2021

  • 基于压缩的多子词分割神经机器翻译 LCP-dropout

    本研究提出了 LCP-dropout 的概率方法，旨在解决基于数据压缩算法的子词切分中多重分段生成的困难问题。研究结果表明 LCP-dropout 方法在小型训练数据学习中优于传统方法。

    Feb, 2022

  • 快速 WordPiece 分词

    本文提出 WordPiece 的高效算法以及针对单词和一般文本的标记化方法，包括将预标记文本和线性时间算法相结合，此方法相对于现有方法可提高 8.2 倍到 5.1 倍的效率。

    Dec, 2020

  • 神经语言模型的逐层正则化丢弃

    我们提出了一种特别为基于 Transformer 的语言模型设计的新型 Layer-wise Regularized Dropout (LR-Drop) 方法，通过一些研究使用一致性训练在输出层对 dropout 进行规范化，每个 Transformer 层通过一致性训练策略进行层内规范化，通过在多个数据集上进行大量实验证明，LR-Drop 可以达到卓越的性能，包括最先进的结果。

    Feb, 2024

  • 使用子矩阵进行高效的批次随机失活训练

    研究探索了一种替代 dropout mask 的 dropout 技术，通过 batchwise dropout，可以应用于全连接和卷积神经网络中，通过使用 submatrix 的权重矩阵来执行矩阵乘法，减少了繁琐的计算过程，提高了训练效率。

    Feb, 2015

  • 神经机器翻译的 Token Drop 机制

    通过引入 Token Drop 以及两种自监督目标，提升神经机器翻译的泛化能力和避免过拟合，实验结果表明该方法在中英和英罗马尼亚基准数据集上表现显著优于强 Transformer 基线模型。

    Oct, 2020

  • 使用多个子词候选项改进神经网络翻译模型的子词正则化

    介绍了一种利用 subword segmentation 的噪声来提高神经机器翻译鲁棒性的正则化方法，主要应用于低资源领域。

    Apr, 2018

  • Bi-Drop: 适应性子网络优化的预训练语言模型通用微调

    本研究提出了一种基于 Bi-Drop 的动态微调策略，利用 dropout 生成的各种子模型的梯度信息有选择地更新模型参数，实验表明，Bi-Drop 在 GLUE 基准上表现优异，在多任务或领域转移中，以及数据不平衡和低资源情况下均有显著改进，并具有出色的泛化能力和鲁棒性。

    May, 2023