本文提出了跨多种语言的多模式机器翻译 (Multilingual MMT) 任务，通过提供多语言的共享语义空间来解决为每对语言训练单独模型的高昂成本问题；通过建立两个新的多语言 MMT 基准数据集，并提出了一种基于视觉提示的有效基准模型 LVP-M3，该模型包括三个阶段（token 编码、语言感知的视觉提示生成和语言翻译），实验结果表明该方法在多语言 MMT 中的有效性。

Oct, 2022

M3P 是一个多任务多语言多模态预训练模型，通过多任务预训练将多语言预训练和多模态预训练结合到一个统一的框架中。该模型的目标是学习通用表示法，可以将出现在不同模态或不同语言中的对象映射到一个公共的语义空间。此外，该论文还提出了 Multimodal Code-switched Training（MCT）的训练策略，该策略通过代码切换将单语预训练和多模态预训练相结合，以明确地鼓励图像和非英语语言之间的细粒度对齐。在跨两个基准数据集的多语言图像检索任务上进行了实验，包括 MSCOCO 和 Multi30K。M3P 在英语上可以获得可比较的结果，在非英语语言上则获得了最新的最佳结果。

Jun, 2020

基于多语言预训练模型，通过提示学习的跨语言转移已显示出有希望的有效性，其中在低资源情景中，从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示，我们提出了一个新颖的框架 —— 多语言提示翻译器（MPT），通过引入多语言提示翻译器来适当处理嵌入在提示中的重要知识，同时保留任务知识。在 XNLI 的少样本设置中，MPT 表现出了比基线方法更突出的改进，当转移到与源语言相当不同的语言时，MPT 比普通提示更为突出。

Mar, 2024

本研究探讨如何利用视觉内容实现无监督多模态机器翻译领域的降歧和提升潜空间的对齐度。该模型采用多模态反向翻译，具备伪视觉枢轴功能，实现了多语言视觉 - 语义嵌入空间学习和视觉轴描述补充弱监督。实验证明该模型显著超越了最先进的方法，并能在测试时很好地进行泛化。

May, 2020

本文综述了多模式机器翻译的重要数据资源、评估活动、端到端及管道方法的最新成果，以及在绩效评估方面面临的挑战，并讨论了这些领域未来研究的方向。

Nov, 2019

研究使用机器翻译英文多模态数据作为缺少多语言数据的高质量数据是否有效，并提出了 TD-MML 框架并在 IGLUE 基准测试中展示了它的有效性。

Oct, 2022

研究了利用图文混合信息来辅助人类完成任务的方法，提出了基于多模态程序规划的任务，使用基于大型语言模型的有提示和图片描述提示的方法可以生成具有信息性和准确性的图文混合任务规划。

May, 2023

本研究提出了分区多模态提示方法（PMPO），将软提示从单个可学习提示扩展到多个提示，以捕获视觉表示的分层上下文深度。此外，我们结合手动设计的模板和可学习的多提示，以提高方法的泛化能力，并在新类别概括、跨数据集评估和领域泛化等三项具有挑战性的任务上验证了它的有效性。

May, 2023

跨模态医学图像翻译是合成临床诊断中缺失模态数据的必要任务。本研究提出了 MedPrompt，一种多任务框架，可以高效地翻译不同模态。通过引入自适应提示块、提示提取块和提示融合块，我们能够有效地编码跨模态提示。通过集成 Transformer 模型，增强了对不同模态间全局特征的提取，实验结果表明我们提出的模型在视觉质量和泛化能力方面达到了最先进水平。

Oct, 2023

本文旨在为多语言学习提供潜在的架构改进，通过开发一种名为 Polyglot Prompting 的学习框架，利用提示方法为不同的语言和任务学习一个统一的语义空间进行多语言多任务基于提示的学习，以实现跨语言的互助和更全面的实验评估，开创了未来多语言研究的新方向。

Apr, 2022