MMJul, 2023

联合丢弃：通过短语对变量提高低资源神经机器翻译的泛化能力

PDF
TL;DR通过使用联合 dropout 方法，将短语替换为变量，从而显著增强组合性，提高翻译质量并增强低资源神经机器翻译在泛化、鲁棒性和适应性方面的能力。
neural machine translationlow-resource language pairsgeneralizationjoint dropoutcompositionality
发现论文，激发创造
  • 低资源神经机器翻译的数据增强

    本研究提出了一种以数据增强为基础的方法，针对低频词汇在合成的新语境中生成新的句子对，以提高神经机器翻译系统的翻译质量。在模拟低资源环境中的实验结果显示，相对于基准和回译方法，我们的方法能够提高翻译质量，最高可提高 2.9 BLEU 分数。

    May, 2017

  • 使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言

    本文介绍一种半监督的方法来解决低资源语言机器翻译的问题，通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量，将交叉熵损失和 KL 散度相结合，特别是通过伪目标句子实现无监督训练，实验证明该方法可以显著提高 NMT 基线性能

    Apr, 2023

  • 利用单语数据进行神经机器翻译模型的联合训练

    本文提出了一种新方法，通过联合 EM 优化方法融合源语言和目标语言的神经机器翻译模型，以更好地利用单语数据来提高翻译质量，实验结果表明，相对于使用单语数据训练的强基线系统，该方法可以同时提高源到目标和目标到源模型的翻译质量。

    Mar, 2018

  • 通过表示和梯度规范化提高多语言翻译

    本文提出了一种同时在表示层和梯度层面上正则化神经机器翻译（NMT）模型的方法，以解决多语言 NMT 在零 - shot 翻译中出现偏离目标语言及低质量翻译的问题，并在 WMT 和 OPUS 数据集上实现了 5.59 和 10.38 BLEU 的性能提升。

    Sep, 2021

  • 零资源神经机器翻译的教师 - 学生框架

    本文提出了一种基于零资源的神经机器翻译方法，该方法假设平行句子在第三种语言中生成的可能性相近，借助于一种现有的基于枢轴语言的 NMT 模型进行指导，在没有平行语料库的情况下训练源语言到目标语言的 NMT 模型。实验结果表明，该方法在各种语言对上能够显著提高 BLEU 值 3.0 点以上。

    May, 2017

  • 低资源机器翻译中的语法差异处理

    本文提出一种简单但有效的方法，即将目标语句重新排序以匹配源语序，并将其作为另外一种训练时的监督信号，从而在模拟低资源日语 - 英语和真实低资源维吾尔 - 英语语种中获得显着改进。

    Aug, 2019

  • 使用中间语言进行神经机器翻译

    介绍了基于枢轴语言的神经机器翻译的联合训练算法，通过提出三种方法来连接两个模型并在训练期间使其相互交互，实验表明，与独立训练相比，源 - 枢轴和枢轴 - 目标模型的联合训练在各种语言中都取得了显著的改进。

    Nov, 2016

  • 双向神经机器翻译与合成平行数据

    本论文提出一种结合了回译和多语言神经机器翻译技术的新技术，通过为一个语言对训练一个模型来改善在低资源和跨领域情况下的机器翻译效果，并且能显著降低培训和部署成本。

    May, 2018

  • 基于多智能体通信协作的零资源神经机器翻译算法

    本文提出了一种交互式多模态框架，通过游戏的方式解决了低资源语言对和领域下数据匮乏的翻译问题，并在实验中证明此学习机制显著优于现有的最先进方法。

    Feb, 2018

  • 低资源机器翻译的指针生成网络：不要复制！

    在低资源机器翻译中，通过 Transformer 网络结构的结构性快捷方式，如从源语言复制子词到目标语言，可以为近缘语言对之间的机器翻译提供微弱的改进，但并不展现与远缘语言对或低资源范围下相似语言对之间更强的改进，并且模型对于共享子词的机制使用并不如预期，这突显了低资源机器翻译领域面临的诸多挑战，如现代分词策略、嘈杂的真实环境和语言复杂性，并呼吁对 Transformer 模型进行更好的语言学动机改进的审视及对该领域上述问题的关注。

    Mar, 2024