Apr, 2024

MedDr: 诊断引导下的大规模医学视觉语言学习

PDF
TL;DR利用诊断指导的引导策略和图像与标签信息，构建视觉 - 语言数据集，从而开发了一个通用的医疗基础模型 MedDr，能够处理多样化的医疗数据模态，包括放射学、病理学、皮肤科、眼底摄影和内窥镜检查，并提出了一种简单而有效的检索增强医学诊断策略，提高了模型的泛化能力，广泛的实验验证了我们方法的优越性。
large-scale vision-language modelsmeddrhealthcaremedical data modalitiesretrieval-augmented medical diagnosis
发现论文，激发创造
  • MedBLIP: 从 3D 医疗影像和文本数据进行语言 - 图像预训练的自举方法

    本文提出了 MedBLIP，这是一个轻量级的 CAD 系统，利用预训练的图像编码器和语言模型，结合维度转换，对医学图像扫描和电子医疗记录中的文本描述进行预训练，最终在 Alzheimer's 病例分类和医学 VQA 领域表现出 SOTA 性能。

    May, 2023

  • LLaVA-Med: 训练一款大规模语言和视觉助手，用于生物医学领域，仅需一天

    本文提出了一种利用 PubMed Central 数据集中的图面注释数据、GPT-4 生成提问数据和新型课程学习方法一起训练的大型语言与视觉助手 (LLaVA-Med)，该助手能回答有关生物医学图像的开放性研究问题，并在标准的生物医学视觉问答数据集上表现出优异的多模态会话能力。

    Jun, 2023

  • 推进生物医学中高分辨率视觉语言模型

    我们的研究在生物医学领域提出了一个新的指导数据集，利用医学图像文本对，提出了一种新的图像编码策略，通过使用分层表示改善了精细的生物医学视觉理解，并且开发了 LLama3-Med 模型，在生物医学视觉问答基准测试中实现了最先进的零 - shot 性能，相比于以前的方法，平均性能提高超过 10％，这些进展为医疗专业人员提供了更准确可靠的工具，弥补了当前多模态对话助手中的差距，并促进了医疗人工智能的进一步创新。

    Jun, 2024

  • HuatuoGPT-Vision，面向大规模注入医学视觉知识的多模态语言模型

    通过使用 PubMedVision 数据集，我们对医学图像和文本进行了精炼和重构，从而改善了当前 MLLM 的医学多模态能力，并在医学多模态场景中展现了卓越的性能。

    Jun, 2024

  • 在视觉 - 语言基础模型中改进医疗报告生成的适配器调优与知识增强

    医疗报告生成需要自动创建连贯准确的医学图像描述。本研究基于最先进的视觉语言预训练和微调方法 BLIP-2，利用适配器调优和医学知识增强损失，显著提高了模型的准确性和连贯性。在 ImageCLEFmedical 2023 的数据集上验证，我们的模型取得了最佳的平均结果，优于几种最先进的方法。ROUGE 和 CIDEr 的显著改进突显了我们方法的有效性，为快速适应视觉语言基础模型以应对数据匮乏的挑战带来了有希望的结果。

    Dec, 2023

  • 关于医学图像分析的大型视觉语言模型的实证研究

    本研究探讨了视觉语言模型在医学图像分析任务中的零样本和少样本鲁棒性，通过全面的实验验证了视觉语言模型在分析生物医学图像方面的有效性。

    Feb, 2024

  • 基于医疗临床知识的语言模型：Almanac

    本文研究了大型语言模型在临床医学领域的应用，探讨了通过让模型能够访问外部医疗工具，以响应医生查询的方式来实现医疗指南和建议推荐的能力，并展示了在各种临床场景中显著提高事实准确性、有效性和安全性的结果。

    Mar, 2023

  • 通过从 X 射线专家模型中提炼知识来引导胸部 CT 图像理解

    利用自然语言作为有限可用的数据集辅助胸部 CT 图像理解并通过对比学习技术提高模型的性能。

    Apr, 2024

  • 融合领域适应视觉和语言模型的医学视觉问答

    通过在医学领域中使用大型视觉和语言模型，在三个不同的生物医学和放射学多模态视觉和文本数据集上进行三个阶段的参数高效训练后，提出了一种医学视觉语言模型。这个模型在 SLAKE 1.0 医学问答 (MedVQA) 数据集上实现了最新的性能，整体准确率为 87.5%，并在另一个 MedVQA 数据集 VQA-RAD 上展现了强大的性能，整体准确率为 73.2%。

    Apr, 2024

  • STLLaVA-Med：医学领域的自我训练大型语言与视觉助理

    通过引入自我训练的大型语言和视觉助手 (STLLaVA-Med)，使用 LVLM 和直接优化原则 (DPO) 自动产生医学视觉指导数据，以提高数据效率，并且证实了在使用只有 9% 的医学数据的情况下，STLLaVA-Med 在三个主要的医学视觉问答 (VQA) 基准测试中具有竞争力的零测性能。

    Jun, 2024