COLINGSep, 2022

基于条件掩码语言模型的神经机器翻译语义一致数据增强

PDF
TL;DR本文介绍了一种新的神经机器翻译数据增强方法，可以在语言内外强制实现更强的语义一致性。结果表明，条件掩蔽语言模型是一种生成上下文相关单词分布的有效技术，并集成了软词替换的思想，以增强数据多样性，加强语义一致性。该方法在四个规模不同的翻译数据集上进行的实验结果，展示了更真实的数据增强和更好的翻译质量，相对于强和最新的工作，我们的方法一致实现了最佳性能，并相对于基线改进了高达 1.90 BLEU 分数。
发现论文，激发创造
  • 有条件掩码语言模型的通用句子表示学习

    本文介绍了一种名为条件遮蔽语言建模（CMLM）的新型训练方法，用于在大规模未标记的语料库上有效地学习句子表示。CMLM 通过在编码相邻句子的向量上进行条件处理，将句子表示学习整合到 MLM 训练中。我们的英语 CMLM 模型在 SentEval 上取得了最先进的性能，并且胜过使用监督信号学习的模型。作为完全无监督的学习方法，CMLM 可以方便地扩展到广泛的语言和领域。我们发现，与位文检索（BR）和自然语言推断（NLI）任务共同训练的多语言 CMLM 模型在跨语言语义搜索等方面比以前最先进的多语言模型的基准模型有了很大的提高，例如改进了基准模型 10％。我们探索了学习表示的相同语言偏见，并提出了一种简单的，基于模型的方法来从表示中删除识别语言的信息，同时仍保留句子语义。

    Dec, 2020

  • AMOM: 条件掩码语言模型的自适应掩码

    本文介绍了一种简单而有效的自适应遮盖策略，用于增强解码器的细化能力和简化编码器优化，证明该方法在多任务序列生成中超越了强大的 CMLM 模型，在机器翻译任务中获得了最先进的性能，并在至少 2.2 倍的加速下比 AR Transformer 实现了更好的性能。

    Mar, 2023

  • 借助误差暴露和一致性规范化提升非自回归机器翻译

    通过错误曝光和一致性正则化的训练方法，研究中提出了解决条件掩码语言模型 (CMLM) 在训练和推断之间数据分布差异的问题，并在五个翻译基准上实验，取得了相对基线模型平均 0.68 和 0.40 BLEU 得分的改进，同时我们的 CMLMC-EECR 在与 Transformer 相比的翻译质量上达到了最佳表现，实验结果验证了我们方法的有效性。

    Feb, 2024

  • 条件 BERT 上下文增强

    提出一种名为条件 BERT 上下文增强的有标注句子的新数据增强方法，基于 BERT 的条件掩蔽语言模型，通过替换预测到的更多变化的子词来增加标注的语句的多样性，实验显示该方法可以轻松应用于卷积或循环神经网络分类器中以获得明显的改进。

    Dec, 2018

  • 探究基于掩码的语言模型数据生成

    本文旨在探讨基于掩码语言模型的数据增强方法在自然语言处理领域的广泛应用及提高模型性能的有效性，以及近期对该模型在生成人工扩充数据方面的应用及实验结果。

    Jun, 2023

  • 神经机器翻译的软上下文数据增强

    本文提出了一种新颖的神经机器翻译数据增强方法，即通过语言模型提供的词汇分布来增强句子中的特定单词，从而比之前的增强方法更好地捕捉上下文语义信息。实验结果表明该方法在小规模和大规模机器翻译数据集上都优于强基线。

    May, 2019

  • 学习扩展泛化：面向神经机器翻译的连续语义增强

    该论文提出了一种新的数据增强模型 Continuous Semantic Augmentation (CsaNMT), 该模型可以使神经机器翻译模型在低资源环境中表现出更好的泛化性能和更高的翻译质量。通过丰富训练数据，提高了机器翻译的性能，并在多个语言翻译任务中取得了大幅度的提升。

    Apr, 2022

  • 显式跨语言预训练用于无监督机器翻译

    本文提出了一种新的跨语言预训练方法，通过融合显式的跨语言训练信号，从交叉语境中获取受益的跨语言信息并使用 CMLM 预训练模型大幅提高了无监督机器翻译的性能.

    Aug, 2019

  • 利用源条件掩蔽跨度预测提高词汇约束的神经机器翻译

    本文提出了一种简单有效的训练策略，通过应用掩蔽跨度预测模型， 实现了对两种语言的三个特定领域语料库在术语级和句子级翻译方面的持续改进，以解决神经机器翻译系统术语翻译的实用性和可靠性问题。

    May, 2021

  • 使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言

    本文介绍一种半监督的方法来解决低资源语言机器翻译的问题，通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量，将交叉熵损失和 KL 散度相结合，特别是通过伪目标句子实现无监督训练，实验证明该方法可以显著提高 NMT 基线性能

    Apr, 2023