本文介绍了 LIUM 和 CVC 为 WMT16 Multimodal Machine Translation Challenge 开发的系统。我们在单模态数据和多模态数据的基础上，探索了各种比较方法，包括基于短语的系统和使用单模态或多模态数据训练的注意力循环神经网络模型。我们还进行了人类评估，以估计多模态数据对于人机翻译和图像描述生成的实用性。根据自动评估指标 BLEU 和 METEOR，我们的系统在这两个任务中获得了最佳结果。

May, 2016

本文介绍了俄勒冈州立大学参加 WMT'17 多模式翻译任务的系统，该任务的独特之处在于所有句子对都是不同语言中的图像标题，我们提出了一种简单而有效的方法，在编码和解码过程中将图片作为额外信息加入到机器翻译系统中，我们使用 Flickr30k 和 MSCOCO 数据集评估了系统在英法和英德翻译中的表现，并在 MSCOCO 数据集上实现了英德机器翻译的最佳 TER 性能。

Oct, 2017

多模态机器翻译是近年来引起学术界和工业界广泛关注的研究领域，本文通过综述先前的 99 项研究工作，全面总结了主要模型、数据集和评估指标，分析了各种因素对模型性能的影响，并讨论了未来该领域的研究方向。与之前限制在早期多模态机器翻译的调查不同，我们的调查从不同角度深入总结了这些新兴类型，以便为研究人员提供对目前研究状况的更好理解。

May, 2024

本文描述了我们在 WMT17 多模态翻译任务中的提交内容，其中通过使用来自平行语料和回译的方法获取了额外的数据，建立了纯文本神经翻译模型进行多模态翻译，并使用最佳系统将英语字幕翻译为目标语言。我们还展示了一些未能有效提高翻译性能的负面结果。

Jul, 2017

本文综述了多模式机器翻译的重要数据资源、评估活动、端到端及管道方法的最新成果，以及在绩效评估方面面临的挑战，并讨论了这些领域未来研究的方向。

Nov, 2019

本文介绍了 MeMAD 项目进入 WMT 多模式机器翻译共享任务的情况，其中我们提出将 Transformer 神经机器翻译架构适应于多模式环境，并描述了我们在此选择之前对纯文本翻译系统的初步实验。我们拥有英语 - 德语和英语 - 法语两种语言的最高分数系统，在 flickr18 的自动指标中都得到了很好的表现。我们的实验表明，图像特征在我们的系统中作用不大，最大的收益来自于基于纯文本 NMT 系统的质量。我们发现适当地使用其他数据是有效的。

Aug, 2018

本文研究了多模式翻译任务的两个子任务：学习翻译和学习视觉有关表征，并在多任务学习框架中通过注意力编码器 - 解码器和图像表征预测的方式实现。通过实验发现，这种方法在 Multi30K 数据集上比基准表现要好，即使在外部 MS COCO 数据集进行训练也同样有效，而在外部 News Commentary 平行文本训练翻译模型时进一步提高了性能。

May, 2017

本文介绍了由 LIUM 和 CVC 开发的单模态和多模态神经机器翻译系统，其中探索了两种多模态架构，最终的系统根据自动评估指标 METEOR 和 BLEU 在 En-De 和 En-Fr 语言对中排名第一。

Jul, 2017

本文介绍了由 LIUM 和 CVC 开发的多模态神经机器翻译系统，描述了他们在 WMT18 多模态翻译共享任务中提出的几种修改架构，以更好地整合卷积特征和使用编码器方面的信息来优化模型，最终在英法和英德语言对上以 METEOR 自动评估指标为参考，获得第一和第二名。

Sep, 2018

通过神经机器翻译和神经图像描述相结合的方法，在多语言图像描述任务中使用序列生成模型作为研究方法，我们发现相较于只针对单个语言的模型，使用多语言训练的模型在英语和德语对齐的 IAPR-TC12 数据集上的 BLEU4 和 Meteor 分数显著且实质性地提高了。

Oct, 2015