Nov, 2023

训练和测试中的上下文一致性与同步机器翻译

PDF
TL;DR机器同时翻译（SiMT）旨在实时产生一个具有单调增长源侧上下文的部分翻译。然而，存在一个关于训练和测试之间上下文使用的反直觉现象：例如，以 wait-k 一致训练的 wait-k 测试模型在翻译质量方面明显劣于以 wait-k'（k' 不等于 k）一致训练的模型。为此，我们首先调查了这一现象背后的原因，并发现了以下两个因素：1）翻译质量与训练（交叉熵）损失之间的有限相关性；2）训练和测试之间的曝光偏差。基于这两个原因，我们提出了一种有效的培训方法，称为上下文一致性训练，通过优化翻译质量和延迟作为双目标，并在训练过程中向模型暴露预测结果，使训练和测试之间的上下文使用保持一致。三种语言对的实验证明了我们的直觉：我们鼓励上下文一致性的系统首次在上下文不一致性的现有系统之上取得了更好的性能，借助于我们的上下文一致性训练方法。
simultaneous machine translationcontext usagetraining approachcorrelationexposure bias
发现论文，激发创造
  • 利用视觉上下文的同时机器翻译

    本文旨在研究如何利用视觉信息来弥补缺失的源文本背景，评估不同的多模态方法和视觉特征对最先进的同时机器翻译 (SiMT) 框架的影响。结果表明，视觉背景是有帮助的，基于明确的物体区域信息的可视化模型优于常用的全局特征，在低延迟情境下的表现可提高 3 个 BLEU 分数。我们的定性分析展示，只有多模态系统才能正常翻译英语到标记性别的语言，并处理英语和法语之间的形容词和名词词序等差异。

    Sep, 2020

  • 数据驱动的自适应同时机器翻译

    本文提出一种用于自适应 SimulMT 训练的有效方案，通过向训练语料库中添加自适应前缀对前缀的语句，来缓解 Wait-K 策略的两个主要限制，实验证明该方法在翻译质量和延迟方面优于所有强基准线。

    Apr, 2022

  • 混合专家等候 - k 策略的通用同时翻译机

    本论文提出了一种基于 Mixture-of-Experts Wait-k 机制的通用即时翻译模型，采用多头注意力实现专家混合，每个专家根据其自己的等待词数被认为是 wait-k 专家，并根据测试延迟和源输入调整专家权重以产生最佳翻译，可以在任意延迟下实现最佳翻译质量，实验结果表明，该方法优于现有方法。

    Sep, 2021

  • 上下文感知机器翻译中的上下文使用度测量与增加

    本文介绍了一种新的度量模型使用上下文的方法，并提出了一种新的训练方法来增加上下文感知模型的使用率。实验证明，这种方法可以提高翻译质量和语义连贯性。

    May, 2021

  • 重新思考同步机器翻译测试集的合理性

    本文介绍了同时机器翻译（SimulMT）模型，包括其与源语句的单调对齐、测试方法的缺陷、以及人工标注的单调测试集 SiMuST-C 的验证、自动提取的单调训练集的优化等。实验表明，自动提取的单调训练集可以为 SimulMT 模型带来高达 3 个 BLEU 分数的提升。

    Mar, 2023

  • 定制参考语境的同时机器翻译

    提出了一种通过修改参考文献并使用强化学习方法进行个性化训练的新方法，用于改进不同延迟下训练的同传机器翻译模型的性能。实验证明，该方法在固定和自适应策略下都取得了最先进的性能。

    Oct, 2023

  • 无需预测的同步机器翻译训练

    本文提出了一种将翻译过程分解为单调翻译和重新排序步骤的新框架，并通过辅助排序网络模型来模拟其中的重新排序步骤，从而提高了同时翻译模型的翻译效果。

    Jan, 2022

  • 通过单语数据提高同时机器翻译的效果

    该研究提出并探索了使用单语数据来提高同时机器翻译的质量，并提出了新的单语抽样策略，以避免 SiMT 中的幻觉问题，实验表明新策略可以显著提高翻译质量。

    Dec, 2022

  • 在上下文中学习的同时保持连贯性：使用大型语言模型进行即时机器翻译的研究

    本文探讨了在上下文中学习（in-context learning）的概念，将其视为维持与上下文信息相一致的生成任务。通过实验表明，长期一致性可以作为下游翻译任务表现优异的良好指标，并表明在上下文机器翻译可以实现随时自适应（on-the-fly adaptation）的效果。

    May, 2023

  • 评估同声传译数据上的同时机器翻译表现

    该研究旨在证明同时机器翻译系统应该使用实际口译数据进行训练和测试，对使用离线翻译数据进行训练的同时机器翻译系统进行评估，结果表明使用口译数据评估时，BLEU 分数可提高多达 13.83，提出了一种将离线翻译转换为口译风格数据的解决方法，并建议构建更适合评估和开发同时机器翻译系统的大规模口译语料库。

    Oct, 2021