May, 2022

视觉增强语言建模

TL;DR提出了一种名为VaLM的预训练框架,对语言建模进行视觉增强,通过图像检索模块检索相应图像,使用视觉知识融合层使多模态语言建模可以参考文本和图像的视觉知识,并在需要的情况下获取相关联的图片,通过对各种视觉知识密集型的常识推理任务的评估,展示了VaLM在推理对象的常识,包括颜色、大小和形状方面的性能优于强语言和视觉语言基线。