Oct, 2020

神经机器翻译的 Token Drop 机制

PDF
TL;DR通过引入 Token Drop 以及两种自监督目标，提升神经机器翻译的泛化能力和避免过拟合，实验结果表明该方法在中英和英罗马尼亚基准数据集上表现显著优于强 Transformer 基线模型。
neural machine translationtoken dropself-supervised objectivestextual representationtransformer
发现论文，激发创造
  • 高效 BERT 预训练的 Token Dropping

    提出了一种基于 token dropping 方法的简单有效的预训练加速技术，可以在不影响下游任务性能的前提下，将 BERT 的预训练成本减少 25%。该方法通过在中间层开始丢弃不重要的 token，使模型更专注于重要的 token，然后让最后一层重新生成完整的序列，这可以通过利用 Masked Language Modeling 的已建成的 loss 函数来实现，计算代价几乎为零。

    Mar, 2022

  • 高效 BERT 预训练中的 Token 丢弃策略再思考

    通过提出语义一致性学习方法（ScTD）来优化 token dropping，从而在保持语义信息的同时显著提高性能，尤其在处理语义密集型任务时，ScTD 可以更好地处理语义丢失的问题。

    May, 2023

  • TLM：用于 Transformer 的令牌级屏蔽

    使用基于令牌级别的掩蔽训练策略，通过操纵多头注意力中的令牌连接来规范化 Transformer 的自注意力机制，以减少过拟合。该方法在多个自然语言处理任务中得到广泛评估，并证明在性能上优于其他规范化方法。

    Oct, 2023

  • 神经机器翻译的 Token 级自适应训练

    本文研究了神经机器翻译中的令牌不平衡现象，并提出采用基于目标令牌频率的目标令牌级自适应目标来训练模型，以提高翻译质量和提高翻译词汇的多样性。结果表明，与基线相比，在包含更多低频词汇的句子中，分别可以获得 1.68，1.02 和 0.52 的 BLEU 增益。

    Oct, 2020

  • UniDrop：一种简单而有效的技术，可以在不增加额外成本的情况下提高 Transformer 的性能

    该论文介绍如何将不同的 dropout 技术整合到 Transformer 模型的训练中，从而提高其性能。实验结果表明，使用 UniDrop 可以在 IWSLT14 翻译任务中取得约 1.5 BLEU 的改进，并且即使在强大的预训练 RoBERTa 下，文本分类的准确性也有所提高。

    Apr, 2021

  • 防止神经机器翻译语言模型过度自信

    提出了一种基于 Margin 的 Token-level Objective（MTO）和 Margin-based Sentence-level Objective（MSO）方法，并在 WMT14 英德，WMT19 中英和 WMT14 英法翻译任务中取得了良好的效果。

    May, 2021

  • Random-LTD: 随机和分层标记丢弃为大型 Transformer 带来高效训练

    提出了一种新的随机层级令牌丢弃方法（“random-LTD”），通过跳过中间层中的一个子集输入令牌的计算，达到了与标准训练基线相当的准确性和显著的加速效果，可应用于更广泛的应用，并可节省约 33.3％的计算成本和 25.6％的墙钟培训时间。

    Nov, 2022

  • 零样本分词器迁移

    语言模型与分词器（tokenizer）的绑定限制了其灵活性，本文提出了零 - shot 分词器迁移问题，并通过训练超网络解决了初始化嵌入向量的挑战，进一步缩短了分词序列，从而实现了对语言模型与其分词器的分离。

    May, 2024

  • DropDim：Transformer 网络的一种正则化方法

    介绍了 DropDim，一种用于规范 Transformer 中关键组件 —— 自我注意力机制的结构化丢弃方法。与通用的随机丢弃方法不同，DropDim 会丢弃嵌入维度的一部分，从而避免了嵌入维度间的过多协同适应。实验证明，DropDim 能够有效地提高模型性能，在防止过拟合和与其他规范方法互补方面表现出色。

    Apr, 2023

  • 使用重建模型翻译 Pro-Drop 语言

    本文提出了一种新颖的基于重构的方法来解决神经机器翻译中省略代词问题，自动提取并重构源语句使得神经机器翻译模型能够更好地嵌入被注释的代词信息，该方法显著和一致地提高了中英和日英对话翻译任务的翻译性能。

    Jan, 2018