Feb, 2023
利用联合自监督学习的医学视觉问答
Medical visual question answering using joint self-supervised learning
Yuan Zhou, Jing Mei, Yiqin Yu, Tanveer Syeda-Mahmood
TL;DR本研究提出一种编码器 - 解码器框架,利用自注意机制跨图像文本双模态表示,并通过自监督多任务学习在大规模医学图像字幕数据集上进行预训练,并在小规模医学 VQA 数据集上进行微调,取得了比基线和 SOTA 方法更好的性能。