ACLMay, 2021

基于双语互信息的自适应神经机器翻译训练

PDF
TL;DR本文提出了一种新的双语互信息（BMI）自适应目标函数，通过从双语视角度量每个目标单词的学习难度并相应地分配自适应权重来改进基于令牌级别的自适应训练，实验结果表明与变压器基线和以前的令牌级别自适应训练方法相比，本方法优越性明显，并能够改善词汇多样性。
token-level adaptive trainingbilingual mutual informationmachine translationlearning difficultylexical diversity
发现论文，激发创造
  • 基于条件双语互信息的自适应神经机器翻译训练

    本研究提出一种基于条件双语互信息（CBMI）的目标上下文感知统计度量方法，用于改善神经机器翻译中令人困扰的令牌不平衡问题，有效提高模型性能，实验结果显示，我们的方法明显优于 Transformer 基线和其他相关方法。

    Mar, 2022

  • 神经机器翻译的 Token 级自适应训练

    本文研究了神经机器翻译中的令牌不平衡现象，并提出采用基于目标令牌频率的目标令牌级自适应目标来训练模型，以提高翻译质量和提高翻译词汇的多样性。结果表明，与基线相比，在包含更多低频词汇的句子中，分别可以获得 1.68，1.02 和 0.52 的 BLEU 增益。

    Oct, 2020

  • 互信息和多样性解码改进神经机器翻译

    本文介绍了一种基于相互信息最大化的神经机器翻译模型，该模型使用一种简单的重新排序方法和一种增加 N-best 列表多样性的解码算法，应用于 WMT 德英和法英任务中，该模型能够在标准 LSTM 和基于注意力的神经机器翻译体系结构上提供持续的性能提升。

    Jan, 2016

  • 多语言神经机器翻译的平衡训练

    该论文提出一种利用数据得分器来自动学习如何加权训练数据以最大化所有测试语言性能的方法，优于传统启发式方法，并提供对优化语言的灵活控制。

    Apr, 2020

  • 测量神经翻译难度的相互信息交叉方法揭示英语外译比英语内译要容易

    本文提出一种信息理论的指标 - XMI，用于评估神经机器翻译难度，避免了传统指标 BLEU 对目标语言属性和生成的依赖。作者还进行了关于跨语言翻译难度的系统和可控研究。

    May, 2020

  • 分布式稳健多语言机器翻译

    本论文提出了一种新的 MNMT 学习目标，基于分布式鲁棒优化，使得这个方法在多种语言对上都可以均衡地表现，并展示了如何实际优化大型翻译语料库。经过广泛实验，证明我们的方法在平均和单个语言翻译表现方面始终优于强基线方法在多对一和一对多的翻译设置下。

    Sep, 2021

  • 神经机器翻译领域自适应推理

    研究神经机器翻译中的自适应集成加权，解决在不牺牲原始域性能的情况下提高新领域性能，通过两个西班牙语 - 英语和三个英语 - 德语任务的逐步适应比较，提出自适应 NMT 集成解码的新方案，采用源信息扩展贝叶斯插值，并在没有域标签的情况下在测试领域中展现了较强的改进。

    Jun, 2019

  • 多语言跨性质与双向多语言协议在多语言文档级机器翻译中的应用

    本文提出了一种名为 MTrans 的新框架，其使用 TPD 方法进行训练以实现源 - 辅助 - 目标的最优路径，并使用 Bi-MAgree 框架和 MKL 方法来鼓励跨语言一致性。实验表明，这种方法在多个任务上都表现出了显著的改善。

    Sep, 2022

  • 面向频率的对比学习在神经机器翻译中的应用

    本文提出一种基于词频感知的令牌级对比学习方法，旨在从表示学习角度解决现代神经机器翻译系统中低频词预测的挑战。经实验证明，所提出的方法不仅可以显著提高翻译质量，还可以增加词汇多样性并优化词表示空间。与相关的自适应训练策略相比，该方法在不牺牲精度的前提下提高了低频词汇量的召回率稳健性。

    Dec, 2021

  • 多语种机器翻译中的数据不平衡和表示退化缓解

    提出了一个名为 Bi-ACL 的框架，旨在解决多语言神经机器翻译中的数据不平衡和表示退化问题。该框架使用仅目标侧单语数据和双语词典，结合双向自编码器和双向对比学习模块，并使用在线约束波束搜索和课程学习采样策略。实验表明，该方法对长尾语言和高资源语言都更有效，并且可以在零 - shot 场景中在不同领域和语言之间转移知识。

    May, 2023