ACLMar, 2022

基于条件双语互信息的自适应神经机器翻译训练

PDF
TL;DR本研究提出一种基于条件双语互信息（CBMI）的目标上下文感知统计度量方法，用于改善神经机器翻译中令人困扰的令牌不平衡问题，有效提高模型性能，实验结果显示，我们的方法明显优于 Transformer 基线和其他相关方法。
adaptive trainingneural machine translationtoken imbalanceconditional bilingual mutual informationtransformer
发现论文，激发创造
  • 基于双语互信息的自适应神经机器翻译训练

    本文提出了一种新的双语互信息（BMI）自适应目标函数，通过从双语视角度量每个目标单词的学习难度并相应地分配自适应权重来改进基于令牌级别的自适应训练，实验结果表明与变压器基线和以前的令牌级别自适应训练方法相比，本方法优越性明显，并能够改善词汇多样性。

    May, 2021

  • 基于置信度的双向全局上下文感知训练框架用于神经机器翻译

    本研究提出一个训练框架 —— 基于置信度的双向全局上下文感知（CBBGCA），用于在神经机器翻译（NMT）中有效地利用双向全局上下文。通过对 CBBGCA 模型的多任务联合训练和基于置信度的知识蒸馏，本研究得出，该模型在三个大型翻译数据集上的 BLEU 分数均有所提高。

    Feb, 2022

  • 上下文感知机器翻译中的上下文使用度测量与增加

    本文介绍了一种新的度量模型使用上下文的方法，并提出了一种新的训练方法来增加上下文感知模型的使用率。实验证明，这种方法可以提高翻译质量和语义连贯性。

    May, 2021

  • 测量神经翻译难度的相互信息交叉方法揭示英语外译比英语内译要容易

    本文提出一种信息理论的指标 - XMI，用于评估神经机器翻译难度，避免了传统指标 BLEU 对目标语言属性和生成的依赖。作者还进行了关于跨语言翻译难度的系统和可控研究。

    May, 2020

  • 互信息和多样性解码改进神经机器翻译

    本文介绍了一种基于相互信息最大化的神经机器翻译模型，该模型使用一种简单的重新排序方法和一种增加 N-best 列表多样性的解码算法，应用于 WMT 德英和法英任务中，该模型能够在标准 LSTM 和基于注意力的神经机器翻译体系结构上提供持续的性能提升。

    Jan, 2016

  • 神经机器翻译的 Token 级自适应训练

    本文研究了神经机器翻译中的令牌不平衡现象，并提出采用基于目标令牌频率的目标令牌级自适应目标来训练模型，以提高翻译质量和提高翻译词汇的多样性。结果表明，与基线相比，在包含更多低频词汇的句子中，分别可以获得 1.68，1.02 和 0.52 的 BLEU 增益。

    Oct, 2020

  • InfoCTM: 跨语言主题建模的互信息最大化视角

    本文提出了一种基于互信息的跨语言主题建模方法，通过采用主题对齐和词汇链接技术，解决了其他方法中主题重复和低覆盖字典的问题，并在英文、中文和日文数据集上得到了良好的结果。

    Apr, 2023

  • 通过对比增强上下文

    通过最大化巴洛双生损失来提高神经机器翻译性能，从而得到含义丰富的表示，并通过语言分类和与最先进的方法进行对比，评估我们表示的语言无关性。

    Jan, 2024

  • 多语言跨性质与双向多语言协议在多语言文档级机器翻译中的应用

    本文提出了一种名为 MTrans 的新框架，其使用 TPD 方法进行训练以实现源 - 辅助 - 目标的最优路径，并使用 Bi-MAgree 框架和 MKL 方法来鼓励跨语言一致性。实验表明，这种方法在多个任务上都表现出了显著的改善。

    Sep, 2022

  • 主题感知神经机器翻译引导对齐训练

    本文提出了一种有效的方法来偏置序列到序列神经机器翻译模型（NMT）的注意机制，使其趋向于研究过的词对齐模型。我们展示了我们的新型引导对齐训练方法如何在真实生活的电商文本翻译中提高了翻译质量，克服了许多未知单词和大型类型 / 令牌比。我们还表明，与输入文本相关的元数据（例如主题或类别信息）作为网络解码器部分的附加信号可显着提高翻译质量。有了这两个新功能，NMT 系统在一个产品标题集上的 BLEU 分数从 18.6 提高到 21.3％。通过将通用领域 NMT 系统进行领域适应也可获得更大的机器翻译质量提升。这个开发的 NMT 系统在 IWSLT 语音翻译任务中也表现良好，其中四个变体系统的集合比基线的基于短语的系统的 BLEU 分数提高了 2.1％。

    Jul, 2016