Apr, 2023

使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言

PDF
TL;DR本文介绍一种半监督的方法来解决低资源语言机器翻译的问题，通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量，将交叉熵损失和 KL 散度相结合，特别是通过伪目标句子实现无监督训练，实验证明该方法可以显著提高 NMT 基线性能
deep learningmachine translationlow-resource languagessemi-supervised learningnmt models
发现论文，激发创造
  • 通过伪平行数据增强无监督机器翻译

    即使有深度学习和大规模语言建模的最新发展，对于低资源语言的机器翻译任务仍然是一个挑战。我们提出了一种训练策略，依赖于从单语语料库中挖掘的伪平行句对和从单语语料库中反向翻译的合成句对。我们尝试了不同的训练计划，并在基于仅反向翻译数据训练的基线上实现了高达 14.5 BLEU 分（从英语到乌克兰语）的改进。

    Oct, 2023

  • 跨语言监督提高无监督神经机器翻译

    本研究提出了一种跨语言无监督神经机器翻译框架，利用来自高资源语言对的弱监督信号，以提高零资源翻译质量。该框架基于多语言模型，不需要对标准无监督神经机器翻译进行改动，实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。

    Apr, 2020

  • 低资源神经机器翻译的数据增强

    本研究提出了一种以数据增强为基础的方法，针对低频词汇在合成的新语境中生成新的句子对，以提高神经机器翻译系统的翻译质量。在模拟低资源环境中的实验结果显示，相对于基准和回译方法，我们的方法能够提高翻译质量，最高可提高 2.9 BLEU 分数。

    May, 2017

  • 神经机器翻译的半监督学习

    该论文提出了一种半监督的方法来训练神经机器翻译模型，该方法使用标记数据和未标记数据的拼接，通过一个自编码器重建单语语料库，从而利用源语言和目标语言的单语语料库以及双语平行语料库从而在中英数据集上取得了显著的性能提升。

    Jun, 2016

  • 低资源机器翻译中的语法差异处理

    本文提出一种简单但有效的方法，即将目标语句重新排序以匹配源语序，并将其作为另外一种训练时的监督信号，从而在模拟低资源日语 - 英语和真实低资源维吾尔 - 英语语种中获得显着改进。

    Aug, 2019

  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017

  • 利用双语词典进行低资源半监督神经机器翻译

    本研究提出了一种基于双语词典的数据增强技术，使得机器翻译模型能够扩展词汇表而不会影响低资源环境下的合成句子的质量，我们的方法在性能上表现出可观的改进。

    Apr, 2020

  • 无监督统计机器翻译

    本文提出了一种基于 SMT 的新颖方法，通过跨语言嵌入映射从单语料库中诱导短语表，再将其与 N-gram 语言模型相结合，通过无监督超参数微调的变体来实现迭代反向翻译，并在 WMT 2014 中实现了超过 7-10 BLEU 点的改进，与监督 SMT 相比关闭了 2-5 BLEU 点的差距。

    Sep, 2018

  • 低资源神经机器翻译的高性价比训练

    提出了一种利用自监督学习和小规模词典来初始化神经机器翻译（NMT）模型，在初始化后使用主动学习策略提高低资源条件下（如稀缺语言）翻译模型性能的方法，并提出了一种基于领域适应的新型主动学习策略。除此之外，我们还表明，使用这种初始化方法和主动学习策略可相比于传统方法提高最多 13 个 BLEU 点。

    Jan, 2022

  • 利用可比语料库诱导的双语词典进行低资源语言的神经机器翻译

    本文使用端到端的 Siamese 双向递归神经网络从 Wikipedia 的可比较多语言文章中提取并生成平行句子，证明使用所收集的数据集可以提高低资源语言对 (英―印度语和英―泰米尔语) 上的 BLEU 分数。

    Jun, 2018