Aug, 2023
大型多语种模型在跨语言零样本多模态学习中的应用
Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages
Jinyi Hu, Yuan Yao, Chongyi Wang, Shan Wang, Yinxu Pan...
TL;DR提出 MPM,一种在低资源语言中训练大型多模态模型的有效训练范例,通过多语言语言模型对仅在英语图像文本数据上预训练的多模态模型实现跨语言的零样本学习,取得了比母语语言的图像文本数据训练的模型还要好的图像文本生成性能。