Jan, 2023

利用短语对注入和语料过滤改进机器翻译

PDF
TL;DR本论文表明，短语注入和语料库过滤的组合提高了神经机器翻译 (NMT) 系统的性能。我们从伪平行语料库中提取并增广平行短语和句子，以此训练 NMT 模型。在 Hindi-Marathi、English-Marathi 和 English-Pashto 这 3 种低资源语言对和 6 种翻译方向上，我们观察到了 NMT 系统的改进，并在 FLORES 测试数据上提高了 2.7 BLEU 分，这些 BLEU 分数改进是基于使用整个伪平行语料库和平行语料库增广的模型。
发现论文，激发创造
  • 通过预训练语言模型进行平行语料库过滤

    本文提出了一种利用预训练语言模型过滤爬取数据中的噪声句对的方法，并利用 BERT 的多语言能力度量语句的平行性，使用生成预训练（GPT）语言模型作为领域过滤器来平衡数据领域，通过在 WMT 2018 平行语料库过滤共享任务上的实验以及本文所提供的 Web-crawled 日译中平行语料库上的实验，证明该方法明显优于基准线，并取得了新的最新成果。

    May, 2020

  • 基于短语和神经网络的无监督机器翻译

    该研究研究了如何在只有大型单语语料库的情况下学习翻译。提出了两种模型，一种是神经模型，一种是基于短语的模型。这些模型通过参数的精心初始化、语言模型的去噪效应和反向迭代自动生成的并行数据来提高翻译性能。在 WMT'14 英语 - 法语和 WMT'16 德语 - 英语 基准测试上，这些模型分别获得 28.1 和 25.2 BLEU 分数，比现有方法的 BLEU 分数高出 11 个分数。方法在英语 - 乌尔都语和英语 - 罗马尼亚语等低资源语言中也取得了良好的结果。

    Apr, 2018

  • 通过伪平行数据增强无监督机器翻译

    即使有深度学习和大规模语言建模的最新发展，对于低资源语言的机器翻译任务仍然是一个挑战。我们提出了一种训练策略，依赖于从单语语料库中挖掘的伪平行句对和从单语语料库中反向翻译的合成句对。我们尝试了不同的训练计划，并在基于仅反向翻译数据训练的基线上实现了高达 14.5 BLEU 分（从英语到乌克兰语）的改进。

    Oct, 2023

  • 在联合多语言空间中过滤和挖掘并行数据

    通过联合多语句嵌入学习并利用在不同语言中句子之间的距离来过滤嘈杂的平行数据和在大型新闻集合中挖掘平行数据。不同于翻译系统的体系结构，这种方法可以应用于多种语言对，并在 BUCC 共享任务中获得有竞争力的结果，用于识别可比较语料库中的平行句子。

    May, 2018

  • 利用可比语料库诱导的双语词典进行低资源语言的神经机器翻译

    本文使用端到端的 Siamese 双向递归神经网络从 Wikipedia 的可比较多语言文章中提取并生成平行句子，证明使用所收集的数据集可以提高低资源语言对 (英―印度语和英―泰米尔语) 上的 BLEU 分数。

    Jun, 2018

  • 使用多语言句子嵌入进行基于边际的平行语料库挖掘

    提出一种基于多语言句子嵌入的平行语料库过滤新方法，通过考虑给定句子对及其最接近的候选句子之间的间隔来修正余弦相似性的尺度不一致性，将结果与现有方法进行比较，结果表明该方法显著提高了翻译自动化水平。

    Nov, 2018

  • 双向神经机器翻译与合成平行数据

    本论文提出一种结合了回译和多语言神经机器翻译技术的新技术，通过为一个语言对训练一个模型来改善在低资源和跨领域情况下的机器翻译效果，并且能显著降低培训和部署成本。

    May, 2018

  • 低资源神经机器翻译的数据增强

    本研究提出了一种以数据增强为基础的方法，针对低频词汇在合成的新语境中生成新的句子对，以提高神经机器翻译系统的翻译质量。在模拟低资源环境中的实验结果显示，相对于基准和回译方法，我们的方法能够提高翻译质量，最高可提高 2.9 BLEU 分数。

    May, 2017

  • 仅使用合成的平行数据构建神经机器翻译系统

    本文探讨了使用合成的并行数据在神经机器翻译中的作用，提出了一种新型的伪并行语料库，在捷克 - 德语和法语 - 德语翻译方面进行了实验证明其有效性。

    Apr, 2017

  • 利用机器翻译对提高语法错误校正的效果

    提出了一种新颖的数据合成方法，以生成多样的句子对，用于改善语法错误纠正，该方法基于两个不同质量（即较差和较好）的机器翻译模型对。实验结果表明，我们的方法是有效的，可以与其他合成数据源相结合，以产生进一步的改进。

    Nov, 2019