ECCVAug, 2018

基于问题引导的混合卷积用于视觉问答

TL;DR本文提出了一种新颖的问题引导的混合卷积神经网络架构,解决了在学习多模态特征时通常会放弃视觉空间信息的问题,并通过引入问题引导核对提高了问题与图像之间的关联性,在减少参数大小和缓解过拟合方面应用组卷积以及与现有双线性汇聚融合和基于关注的问答方法相结合,在公共 VQA 数据集上进行了大量实验并验证了该方法的有效性。