本论文提出了一种新的多元元模型量化方法，能够有效地学习元注释和利用有意义的特征以处理医学可视问题回答任务中的数据限制问题。实验表明，该方法不需要外部数据即可训练元模型，并且在两个公共医学VQA数据集上得到比其他现有方法更为准确的结果。

May, 2021

本研究旨在通过提出一种基于生成的模型方法（与大型自然语言模型结合）来解决医学图像中的问题，通过建立大规模的医疗视觉问答数据集，即PMC-VQA，该数据集包含149k张图片的227k个问答对，并进行预处理和微调以超越现有研究成果。

May, 2023

本文提出了一种新的自我监督方法来处理医学图像视觉问答问题，通过利用医学图像标题数据集来学习输入图像和文本的单模和多模特征表示，预训练模型后将其转移到下游的医学VQA任务中，已在三个公开的医学VQA数据集上取得了最先进的表现，具有显着的准确度提高。

Jul, 2023

通过使用领域特定的预训练策略，包括一种新颖的对比学习预训练方法，解决医学视觉问答任务中数据集规模小的问题，我们的模型在VQA-Med 2019测试集上达到了60%的准确率，与其他最先进的Med-VQA模型具有可比性。

Sep, 2023

医学视觉问答（Med-VQA）是医疗行业中非常重要的任务之一，通过医学图像回答自然语言问题。本文开发了一种用于医学视觉问答的基准评估系统（BESTMVQA），通过此系统，用户可以自动构建Med-VQA数据集，并选择多种先进模型进行综合实证研究。该系统从临床数据中自动构建新数据集，通过在统一的实验环境中对先进模型进行评估，克服了现有工作的局限性。

Dec, 2023

本文提出了一种基于多任务自监督学习的大规模医学VQA任务框架（MISS），将医学VQA作为生成任务，并通过多任务学习对齐图像-文本特征；此外，我们通过使用大语言模型（LLMs），在单模态图像数据集上扩展单一模态图像特征空间，使得传统医学视觉领域任务数据能够应用于VLP，实验证明我们的方法在较少的多模态数据集上取得了优异结果并展示了生成式VQA模型的优势。

Jan, 2024

通过设计半自动注释过程，构建了基于多模态大型语言模型生成中间医疗决策理由的新的基准MedVQA数据集R-RAD和R-SLAKE，并将其纳入训练过程中，通过三种不同的策略生成决策结果和相应的理由，从而清楚地展示推理过程中的医疗决策过程，实验证明该方法在R-RAD上能达到83.5%的准确率，在R-SLAKE上能达到86.3%的准确率，显著优于现有最先进的基线模型。

Apr, 2024

通过在医学领域中使用大型视觉和语言模型，在三个不同的生物医学和放射学多模态视觉和文本数据集上进行三个阶段的参数高效训练后，提出了一种医学视觉语言模型。这个模型在SLAKE 1.0医学问答(MedVQA)数据集上实现了最新的性能，整体准确率为87.5%，并在另一个MedVQA数据集VQA-RAD上展现了强大的性能，整体准确率为73.2%。

Apr, 2024

本研究解决了医疗视觉问答（Med-VQA）中模型视觉理解能力不足的问题，提出了定向视觉提示的新方法，以提升多模态大型语言模型（MLLMs）在区域性问题上的表现。研究发现，结合孤立区域与上下文区域的定制视觉提示能够显著增强模型的视觉理解能力，展示了该方法在多个数据集上的有效性。

Aug, 2024

该研究解决了现有医疗视觉问答（Med-VQA）方法未能充分利用图像中重要视觉区域信息的不足。本文提出了R-LLaVA，通过将简单的医学注释直接整合到图像中，增强了模型对生物医学问题的理解。实验证明，R-LLaVA在四个标准Med-VQA数据集上优于现有最先进技术，并引入了一种新的多项选择医学视觉理解数据集，进一步验证了关注视觉区域的重要性。

Oct, 2024