本研究探索了两个主要概念，即使用自适应策略来学习高翻译质量和低延迟之间的平衡，以及使用可用于生成文本输入之前的附加（视觉）上下文信息来支持该过程，提出了一种多模式方法来进行同时机器翻译，并采用强化学习策略，应用于代理程序和环境中集成视觉和文本信息，研究了不同类型的视觉信息和集成策略对同时翻译模型质量和延迟的影响，并证明了视觉线索可以在保持延迟低的同时提高质量。

Feb, 2021

提出了一种多模式神经机器翻译方法，即多模式同时翻译 (MSNMT)，能够在翻译过程中利用视频信息和实现实时多语言理解。实验证实，该方法可显著提高翻译效率，特别是在低延迟情况下，比单纯文本的模型更加优秀。此外，我们通过对 MSNMT 的对抗性评估研究发现了视频信息在解码过程中的重要性，并分析了源语言和目标语言之间不同的单词顺序对翻译结果的影响。

Apr, 2020

本文提出基于 Transformer 的多模式机器翻译 (MMT) 与视觉注意力机制相结合的模型，并使用带标签的短语 - 区域对齐的辅助信号指导其视觉注意力机制，实现目前最佳 BLEU 和 METEOR 分数的提升。

Jan, 2022

提出了一种通过修改参考文献并使用强化学习方法进行个性化训练的新方法，用于改进不同延迟下训练的同传机器翻译模型的性能。实验证明，该方法在固定和自适应策略下都取得了最先进的性能。

Oct, 2023

本文中，我们研究了多模式机器翻译（MMT）中视觉模态的贡献，通过分析证明，即使在有限的文本和文本上下文的情况下，模型也能够利用视觉输入来生成更好的翻译结果。

Mar, 2019

该研究提出并探索了使用单语数据来提高同时机器翻译的质量，并提出了新的单语抽样策略，以避免 SiMT 中的幻觉问题，实验表明新策略可以显著提高翻译质量。

Dec, 2022

本论文提出了一种基于 Mixture-of-Experts Wait-k 机制的通用即时翻译模型，采用多头注意力实现专家混合，每个专家根据其自己的等待词数被认为是 wait-k 专家，并根据测试延迟和源输入调整专家权重以产生最佳翻译，可以在任意延迟下实现最佳翻译质量，实验结果表明，该方法优于现有方法。

Sep, 2021

机器同时翻译（SiMT）旨在实时产生一个具有单调增长源侧上下文的部分翻译。然而，存在一个关于训练和测试之间上下文使用的反直觉现象：例如，以 wait-k 一致训练的 wait-k 测试模型在翻译质量方面明显劣于以 wait-k'（k' 不等于 k）一致训练的模型。为此，我们首先调查了这一现象背后的原因，并发现了以下两个因素：1）翻译质量与训练（交叉熵）损失之间的有限相关性；2）训练和测试之间的曝光偏差。基于这两个原因，我们提出了一种有效的培训方法，称为上下文一致性训练，通过优化翻译质量和延迟作为双目标，并在训练过程中向模型暴露预测结果，使训练和测试之间的上下文使用保持一致。三种语言对的实验证明了我们的直觉：我们鼓励上下文一致性的系统首次在上下文不一致性的现有系统之上取得了更好的性能，借助于我们的上下文一致性训练方法。

Nov, 2023

本文提出了一种将翻译过程分解为单调翻译和重新排序步骤的新框架，并通过辅助排序网络模型来模拟其中的重新排序步骤，从而提高了同时翻译模型的翻译效果。

Jan, 2022

我们提出了一种基于置信度的同传机器翻译框架（CBSiMT），通过利用模型置信度来察觉幻觉标记，并通过加权的前缀对前缀训练来减轻它们的负面影响。实验结果表明我们的方法可以在大多数延迟范围内持续提高翻译质量，低延迟时提高 2 个 BLEU 分数。

Nov, 2023