本文旨在研究如何利用视觉信息来弥补缺失的源文本背景，评估不同的多模态方法和视觉特征对最先进的同时机器翻译 (SiMT) 框架的影响。结果表明，视觉背景是有帮助的，基于明确的物体区域信息的可视化模型优于常用的全局特征，在低延迟情境下的表现可提高 3 个 BLEU 分数。我们的定性分析展示，只有多模态系统才能正常翻译英语到标记性别的语言，并处理英语和法语之间的形容词和名词词序等差异。

Sep, 2020

提出了一种多模式神经机器翻译方法，即多模式同时翻译 (MSNMT)，能够在翻译过程中利用视频信息和实现实时多语言理解。实验证实，该方法可显著提高翻译效率，特别是在低延迟情况下，比单纯文本的模型更加优秀。此外，我们通过对 MSNMT 的对抗性评估研究发现了视频信息在解码过程中的重要性，并分析了源语言和目标语言之间不同的单词顺序对翻译结果的影响。

Apr, 2020

本文提出基于 Transformer 的多模式机器翻译 (MMT) 与视觉注意力机制相结合的模型，并使用带标签的短语 - 区域对齐的辅助信号指导其视觉注意力机制，实现目前最佳 BLEU 和 METEOR 分数的提升。

Jan, 2022

同时机器翻译（SiMT）通过阅读源语句来生成目标翻译，在确定最佳时机阅读句子和生成翻译的策略方面，现有的 SiMT 方法通常采用传统的 Transformer 架构，虽然它们擅长确定策略，但其翻译性能却不够优化。相反，基于丰富语料库训练的大型语言模型（LLMs）具有卓越的生成能力，但它们很难通过 SiMT 的训练方法获得翻译策略。因此，我们引入 Agent-SiMT，这是一个将 LLMs 和传统 SiMT 方法的优势结合起来的框架。Agent-SiMT 包含策略决策代理和翻译代理。策略决策代理由一个 SiMT 模型管理，使用部分源语句和翻译来确定翻译策略。而翻译代理则利用 LLM 基于部分源语句生成翻译。这两个代理共同合作完成 SiMT。实验证明，Agent-SiMT 达到了最先进的性能。

Jun, 2024

提出了一种通过修改参考文献并使用强化学习方法进行个性化训练的新方法，用于改进不同延迟下训练的同传机器翻译模型的性能。实验证明，该方法在固定和自适应策略下都取得了最先进的性能。

Oct, 2023

本论文提出了一种基于 Mixture-of-Experts Wait-k 机制的通用即时翻译模型，采用多头注意力实现专家混合，每个专家根据其自己的等待词数被认为是 wait-k 专家，并根据测试延迟和源输入调整专家权重以产生最佳翻译，可以在任意延迟下实现最佳翻译质量，实验结果表明，该方法优于现有方法。

Sep, 2021

本文提出了一种利用二分查找在线构建最佳策略的方法来实现并行句子翻译的优化，通过显式监管来实现最优策略的学习，从而在所有延迟情况下超越了强基线。

May, 2023

同时机器翻译 (SiMT) 使用一个策略来确定最佳的阅读和生成单词的时机。我们提出了 SiLLM，将 SiMT 任务分解为策略决策和翻译子任务，并引入了大型语言模型 (LLM)。两个代理协作完成 SiMT，最终实现了最新技术水平的性能表现。

Feb, 2024

本文提出一种用于自适应 SimulMT 训练的有效方案，通过向训练语料库中添加自适应前缀对前缀的语句，来缓解 Wait-K 策略的两个主要限制，实验证明该方法在翻译质量和延迟方面优于所有强基准线。

Apr, 2022

本文综述了多模式机器翻译的重要数据资源、评估活动、端到端及管道方法的最新成果，以及在绩效评估方面面临的挑战，并讨论了这些领域未来研究的方向。

Nov, 2019