EMNLPOct, 2020

神经机器翻译的 Token 级自适应训练

PDF
TL;DR本文研究了神经机器翻译中的令牌不平衡现象，并提出采用基于目标令牌频率的目标令牌级自适应目标来训练模型，以提高翻译质量和提高翻译词汇的多样性。结果表明，与基线相比，在包含更多低频词汇的句子中，分别可以获得 1.68，1.02 和 0.52 的 BLEU 增益。
token imbalanceneural machine translationtarget token-level adaptive objectivestoken frequenciestranslation quality
发现论文，激发创造
  • 面向频率的对比学习在神经机器翻译中的应用

    本文提出一种基于词频感知的令牌级对比学习方法，旨在从表示学习角度解决现代神经机器翻译系统中低频词预测的挑战。经实验证明，所提出的方法不仅可以显著提高翻译质量，还可以增加词汇多样性并优化词表示空间。与相关的自适应训练策略相比，该方法在不牺牲精度的前提下提高了低频词汇量的召回率稳健性。

    Dec, 2021

  • 基于双语互信息的自适应神经机器翻译训练

    本文提出了一种新的双语互信息（BMI）自适应目标函数，通过从双语视角度量每个目标单词的学习难度并相应地分配自适应权重来改进基于令牌级别的自适应训练，实验结果表明与变压器基线和以前的令牌级别自适应训练方法相比，本方法优越性明显，并能够改善词汇多样性。

    May, 2021

  • 多语言神经机器翻译的平衡训练

    该论文提出一种利用数据得分器来自动学习如何加权训练数据以最大化所有测试语言性能的方法，优于传统启发式方法，并提供对优化语言的灵活控制。

    Apr, 2020

  • 神经机器翻译对多语言分词训练中的语言不平衡的鲁棒性有多强？

    本研究分析研究了多语言经过语言不平衡的训练语料库的分词器，并发现在训练过程中，UNK 率和接近字符级别的特征对于下游任务的性能具有预警作用。同时，该研究还将分词器训练的语言采样与模型训练的采样区分开，并指出模型对后者更为敏感。

    Apr, 2022

  • 神经机器翻译中的长尾现象

    本文提出一种新的损失函数 Anti-Focal loss，以更好地适应条件文本生成的结构依赖性，通过在训练过程中合并 beam search 的归纳偏差，从而定量化地表征 Token 分类和序列生成方面的长尾现象，在多个机器翻译数据集上表现出重要改进，特别是在生成低频词方面。

    Oct, 2020

  • 基于条件双语互信息的自适应神经机器翻译训练

    本研究提出一种基于条件双语互信息（CBMI）的目标上下文感知统计度量方法，用于改善神经机器翻译中令人困扰的令牌不平衡问题，有效提高模型性能，实验结果显示，我们的方法明显优于 Transformer 基线和其他相关方法。

    Mar, 2022

  • 防止神经机器翻译语言模型过度自信

    提出了一种基于 Margin 的 Token-level Objective（MTO）和 Margin-based Sentence-level Objective（MSO）方法，并在 WMT14 英德，WMT19 中英和 WMT14 英法翻译任务中取得了良好的效果。

    May, 2021

  • 神经机器翻译领域自适应推理

    研究神经机器翻译中的自适应集成加权，解决在不牺牲原始域性能的情况下提高新领域性能，通过两个西班牙语 - 英语和三个英语 - 德语任务的逐步适应比较，提出自适应 NMT 集成解码的新方案，采用源信息扩展贝叶斯插值，并在没有域标签的情况下在测试领域中展现了较强的改进。

    Jun, 2019

  • 分布式稳健多语言机器翻译

    本论文提出了一种新的 MNMT 学习目标，基于分布式鲁棒优化，使得这个方法在多种语言对上都可以均衡地表现，并展示了如何实际优化大型翻译语料库。经过广泛实验，证明我们的方法在平均和单个语言翻译表现方面始终优于强基线方法在多对一和一对多的翻译设置下。

    Sep, 2021

  • 将离散的翻译词典融入神经机器翻译

    本文提出使用离散的翻译词典，通过使用 NMT 模型的 attention 向量选择需要聚焦的源单词的词典概率，从而缓解 NMT 在翻译低频词汇时出现的错误，并进行了两种方法的实验，结果显示翻译质量（BLEU）得分有明显提高。

    Jun, 2016