Dec, 2020

跨模态泛化:通过元对齐学习低资源模态

TL;DR本研究旨在提出一种算法用于跨模态泛化,通过使用强弱配对的跨模态数据对表示空间进行元对齐的新方法,实现在不同模态下快速完成新任务的训练。该算法被运用于三个分类任务,即文本到图像,图像到音频和文本到语音,即使目标模态只有少量(1-10)标记样本和存在噪声标签,该算法的表现也非常强。