EMNLPNov, 2023

解决文档级神经机器翻译中的长度偏差问题

PDF
TL;DR通过改进训练方法、注意机制和解码策略，我们提出了解决文档级神经机器翻译中长度偏差问题的方法，实验证明我们的方法在多个开放数据集上都取得了显著的改进，并且进一步分析显示我们的方法能够明显减轻长度偏差问题。
document-level neural machine translationlength bias problemtraining methodattention mechanismdecoding strategy
发现论文，激发创造
  • 纠正神经机器翻译中的长度偏差

    本文研究神经机器翻译中的两个问题：beam search 算法不适用于 NMT 问题，翻译结果过短。作者认为这些问题因标签偏置而产生，提出了一种通过感知机算法对一个简单的逐字奖励进行调整的解决方案来解决这一问题。

    Aug, 2018

  • 神经机器翻译输出长度控制

    本文首次解决了神经机器翻译中输出长度的控制问题，并调查了两种解决方法，分别是将输出与目标输入长度比例类相关联和在 Transformer 位置嵌入中加入长度信息。实验结果表明，这两种方法都可以使网络生成更短的翻译，并获得解释性的语言技能。

    Oct, 2019

  • 提高长文本层面机器翻译质量

    文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

    Jun, 2023

  • 标签平滑对 Beam Search 解码呈现的隐式长度偏差

    在神经机器翻译中，标签平滑虽然在模型训练过程中提供了所需的正则化效果，但本文演示其对波束搜索解码过程产生长度偏差。我们还证明，对于完全优化的标签平滑模型，翻译长度受到独立于输入的固定常量的隐含上限约束。通过在推理时应用一个简单的修正函数来恢复标签平滑模型预测中的无偏分布，我们验证了我们的理论。这种校正方法在 WMT 英德、英法、英捷和英汉任务中产生了一致的质量改进，波束大小为 4 时最高可达 + 0.3 BLEU，波束大小为 200 时可达 + 2.8 BLEU。

    May, 2022

  • 论文档级神经机器翻译的搜索策略

    本文研究如何利用上下文感知的翻译模型在解码时最佳应用。通过对比使用标准自动指标和三个标准的文档级翻译基准测试上的特定语言现象，我们发现大多数常用的解码策略表现相似，并且更高质量的上下文信息有潜力进一步改善翻译效果。

    Jun, 2023

  • 使用自我训练在句子级神经机器翻译模型中捕获文档上下文

    该研究提出了一种基于自训练的方法，可以在不需要专门的并行文档级语料库和模型的情况下，将已训练好的句子级神经机器翻译模型应用于文档级机器翻译任务，并在三个文档级数据集上进行了评估，结果显示我们的方法在 BLEU 指标上具有更高的得分和更高的人类偏好度。

    Mar, 2020

  • 文本匹配模型中长度偏差的研究

    本文研究文本匹配任务中深度模型是否真正理解语言或仅仅是利用数据集的统计偏差来衡量文本的语义相似性，发现普遍存在长度偏差启发式规则，并提出对抗训练方法以减缓长度偏差的影响，得到改进后的模型具有更强鲁棒性和泛化能力。

    Sep, 2021

  • 层级注意力网络在文档级神经机器翻译中的应用

    本文提出了一种层次化的注意力模型，通过在神经机器翻译中引入文本级的上下文信息，有效提升了翻译的质量。实验结果表明，编码器和解码器都对上下文信息做出了积极贡献。

    Sep, 2018

  • 深入探究上下文感知神经机器翻译

    本文研究了文档级 NMT 模型在四个不同领域中的性能，并发现不同的架构适用于不同的任务，同时发现上下文感知系统在任务特定问题上有改进，而文本级别的指标（如 BLEU）没有显着改进。同时，本文还表明，文档级别的回译对于缺乏文档级别双文本的情况有很大的帮助。

    Oct, 2020

  • 神经机器翻译中的长尾现象

    本文提出一种新的损失函数 Anti-Focal loss，以更好地适应条件文本生成的结构依赖性，通过在训练过程中合并 beam search 的归纳偏差，从而定量化地表征 Token 分类和序列生成方面的长尾现象，在多个机器翻译数据集上表现出重要改进，特别是在生成低频词方面。

    Oct, 2020