Jul, 2021

CLIP能为视觉语言任务带来多大的效益?

TL;DR研究了在视觉与语言任务中使用大规模预训练模型CLIP作为视觉编码器以及其优势,通过在特定任务中微调和在预训练模型中与V&L相结合传递到下游任务,CLIP显著优于现有的视觉编码器,并在多种视觉与语言任务中取得竞争或更好的结果,同时取得了Visual Question Answering,Visual Entailment和V&L Navigation等任务的新高峰。