Apr, 2024

MedThink：通过多模态决策理由解释医学视觉问题回答

HTML
PDF
TL;DR通过设计半自动注释过程，构建了基于多模态大型语言模型生成中间医疗决策理由的新的基准MedVQA数据集R-RAD和R-SLAKE，并将其纳入训练过程中，通过三种不同的策略生成决策结果和相应的理由，从而清楚地展示推理过程中的医疗决策过程，实验证明该方法在R-RAD上能达到83.5%的准确率，在R-SLAKE上能达到86.3%的准确率，显著优于现有最先进的基线模型。
发现论文，激发创造
  • SLAKE: 基于语义标注的医学视觉问答增强数据集

    本文提出了一个大型的双语数据集SLAKE，包含全面的语义标签和医学知识库，可以用于促进Med-VQA系统的开发和评估。

    Feb, 2021

  • PMC-VQA：基于视觉指导的医学视觉问答模型优化

    本研究旨在通过提出一种基于生成的模型方法（与大型自然语言模型结合）来解决医学图像中的问题，通过建立大规模的医疗视觉问答数据集，即PMC-VQA，该数据集包含149k张图片的227k个问答对，并进行预处理和微调以超越现有研究成果。

    May, 2023

  • 医学领域的视觉问答

    通过使用领域特定的预训练策略，包括一种新颖的对比学习预训练方法，解决医学视觉问答任务中数据集规模小的问题，我们的模型在VQA-Med 2019测试集上达到了60%的准确率，与其他最先进的Med-VQA模型具有可比性。

    Sep, 2023

  • BESTMVQA：医学视觉问答的基准评估系统

    医学视觉问答（Med-VQA）是医疗行业中非常重要的任务之一，通过医学图像回答自然语言问题。本文开发了一种用于医学视觉问答的基准评估系统（BESTMVQA），通过此系统，用户可以自动构建Med-VQA数据集，并选择多种先进模型进行综合实证研究。该系统从临床数据中自动构建新数据集，通过在统一的实验环境中对先进模型进行评估，克服了现有工作的局限性。

    Dec, 2023

  • 开发生物和医学 ChatGPT：生物医学问答的完整概述

    通过自然语言处理和多模态范式，ChatGPT 探索了医学诊断、治疗建议和其他医疗支持的问题回答的战略蓝图，在医学领域数据的逐渐整合下，这些技术加快了医学领域问题回答的进展，通过连接人类自然语言与医学领域知识或专家手动注释的空白，处理了医学环境下大规模、多样化、不平衡或无标签数据分析的场景，强调了在不同任务和数据集中的应用，并概述了当前的挑战和未来医学领域研究的机遇和创新。

    Jan, 2024

  • OmniMedVQA：医学LVLM的新大规模综合评估基准

    我们介绍了OmniMedVQA，一个来自75个不同医疗数据集的医疗视觉问答基准，其中包括12个不同的模态和超过20个不同的解剖区域。我们发现现有的大型视觉语言模型在解决这些医疗视觉问答问题时存在困难，甚至在医学专业化的模型中也表现出劣于通用领域模型的性能，这要求在生物医学领域开发更加通用和强大的大型视觉语言模型。

    Feb, 2024

  • LaPA：医学视觉问答的潜在提示辅助模型

    给出一个概述只需一句简短的中文描述是：本研究提出了LaPA模型，用于医学视觉问答。通过设计潜在提示生成模块、多模态融合块、和先验知识融合模块，利用潜在提示从单模态和多模态特征提取临床相关信息，并结合图像-语言跨模态信息预测最终答案。实验结果表明LaPA模型在三个公开的医学视觉问答数据集上胜过了现有的最先进模型ARL，分别在VQA-RAD、SLAKE和VQA-2019上达到了1.83%、0.63%和1.80%的改进。

    Apr, 2024

  • 融合领域适应视觉和语言模型的医学视觉问答

    通过在医学领域中使用大型视觉和语言模型，在三个不同的生物医学和放射学多模态视觉和文本数据集上进行三个阶段的参数高效训练后，提出了一种医学视觉语言模型。这个模型在SLAKE 1.0医学问答(MedVQA)数据集上实现了最新的性能，整体准确率为87.5%，并在另一个MedVQA数据集VQA-RAD上展现了强大的性能，整体准确率为73.2%。

    Apr, 2024

  • 医疗困惑：你能信任你的人工智能放射科医生吗？探究多模态医学基础模型的可靠性

    本研究针对多模态大型语言模型（MLLMs）在医疗领域的可靠性问题，揭示了现有医学基准未能有效识别的模型失效模式。通过引入MediConfusion数据集，我们发现现有模型在处理医学图像对时，表现不及随机猜测，这表明这些模型在医疗部署中的可靠性问题亟待解决。

    Sep, 2024

  • R-LLaVA：通过视觉关注区域提升医疗视觉问答理解

    该研究解决了现有医疗视觉问答（Med-VQA）方法未能充分利用图像中重要视觉区域信息的不足。本文提出了R-LLaVA，通过将简单的医学注释直接整合到图像中，增强了模型对生物医学问题的理解。实验证明，R-LLaVA在四个标准Med-VQA数据集上优于现有最先进技术，并引入了一种新的多项选择医学视觉理解数据集，进一步验证了关注视觉区域的重要性。

    Oct, 2024