Apr, 2024
HiVG: 视觉引导的分层多模态细粒度调控
HiVG: Hierarchical Multimodal Fine-grained Modulation for Visual Grounding
Linhui Xiao, Xiaoshan Yang, Fang Peng, Yaowei Wang, Changsheng Xu
TL;DR通过多模态预训练的方法,我们提出了一个简洁高效的分层多模态细粒度调制框架 HiVG,用于解决通过自然语言对视觉区域进行视觉定位的任务,并且在五个数据集上的实验证明了该方法的有效性和显著的视觉定位能力及能源效率优势。