医学领域中的视觉问答（VQA）面临独特的、跨学科的挑战，结合了计算机视觉、自然语言处理和知识表示等领域。本研究针对这一研究领域的空白，探讨了放射学图像的有效表示和多模态表示的联合学习，超越了现有方法。我们创新性地增强了 SLAKE 数据集，使我们的模型能够回答更多样化的问题，不仅限于放射学或病理学图像的直接内容。我们的模型以较简单的架构实现了 79.55% 的 top-1 准确度，表现与当前最先进的模型相当。这项研究不仅推进了医学 VQA，还在诊断环境中开辟了实用应用的途径。

Jan, 2024

本研究提出一种编码器 - 解码器框架，利用自注意机制跨图像文本双模态表示，并通过自监督多任务学习在大规模医学图像字幕数据集上进行预训练，并在小规模医学 VQA 数据集上进行微调，取得了比基线和 SOTA 方法更好的性能。

Feb, 2023

通过使用领域特定的预训练策略，包括一种新颖的对比学习预训练方法，解决医学视觉问答任务中数据集规模小的问题，我们的模型在 VQA-Med 2019 测试集上达到了 60% 的准确率，与其他最先进的 Med-VQA 模型具有可比性。

Sep, 2023

文章提出了一种针对医学图像的视觉问答模型，该模型能够考虑上下文并回答关于图片区域的问题，实验结果表明该方法在三个数据集上优于现有方法。

Jul, 2023

本文介绍了一种自我监督方法 - 对遮蔽图像建模、遮蔽语言建模、图像文本匹配和图像文本对齐进行对比学习的 M2I2 方法，应用于医学图像字幕数据集的预训练，并对下游医学 VQA 任务进行微调。该方法在三个公共医学 VQA 数据集上实现了最先进的性能。

Nov, 2022

通过设计半自动注释过程，构建了基于多模态大型语言模型生成中间医疗决策理由的新的基准 MedVQA 数据集 R-RAD 和 R-SLAKE，并将其纳入训练过程中，通过三种不同的策略生成决策结果和相应的理由，从而清楚地展示推理过程中的医疗决策过程，实验证明该方法在 R-RAD 上能达到 83.5% 的准确率，在 R-SLAKE 上能达到 86.3% 的准确率，显著优于现有最先进的基线模型。

Apr, 2024

PLURAL 模型是一种针对差异化视觉问答任务的预训练视觉 - 语言模型，经过实验证明在研究中能够提高模型的性能。

Feb, 2024

本论文提出一种基于视觉问答的方法来查询深度学习模型的行为，通过在多个医学和自然图像数据集上进行实验，证明该方法较目前方法具有相同或更高的准确度，有效地解决了深度学习方法缺乏透明性的问题。

Mar, 2020

本研究旨在通过提出一种基于生成的模型方法（与大型自然语言模型结合）来解决医学图像中的问题，通过建立大规模的医疗视觉问答数据集，即 PMC-VQA，该数据集包含 149k 张图片的 227k 个问答对，并进行预处理和微调以超越现有研究成果。

May, 2023

通过医疗图片的图像 - 图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和 transformer 注意力机制，在对 CheXpert 数据集进行实验时，在 1% 线性评估和少样本情况下表现优于已有的图像 - 文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。

May, 2024