本文介绍了BiomedCLIP在生物医学视觉语言处理方面的应用，该方法针对生物医学VLP进行改进和优化，实验结果显示，BiomedCLIP已成为标准数据集中广泛应用于检索、分类和视觉问答等任务的新的最佳模型，且在某些领域甚至胜过了目前的最新模型。

Mar, 2023

本文提出了一种利用 PubMed Central 数据集中的图面注释数据、GPT-4 生成提问数据和新型课程学习方法一起训练的大型语言与视觉助手 (LLaVA-Med)，该助手能回答有关生物医学图像的开放性研究问题，并在标准的生物医学视觉问答数据集上表现出优异的多模态会话能力。

Jun, 2023

通过自然语言处理和多模态范式，ChatGPT 探索了医学诊断、治疗建议和其他医疗支持的问题回答的战略蓝图，在医学领域数据的逐渐整合下，这些技术加快了医学领域问题回答的进展，通过连接人类自然语言与医学领域知识或专家手动注释的空白，处理了医学环境下大规模、多样化、不平衡或无标签数据分析的场景，强调了在不同任务和数据集中的应用，并概述了当前的挑战和未来医学领域研究的机遇和创新。

Jan, 2024

通过设计半自动注释过程，构建了基于多模态大型语言模型生成中间医疗决策理由的新的基准MedVQA数据集R-RAD和R-SLAKE，并将其纳入训练过程中，通过三种不同的策略生成决策结果和相应的理由，从而清楚地展示推理过程中的医疗决策过程，实验证明该方法在R-RAD上能达到83.5%的准确率，在R-SLAKE上能达到86.3%的准确率，显著优于现有最先进的基线模型。

Apr, 2024

我们的研究在生物医学领域提出了一个新的指导数据集，利用医学图像文本对，提出了一种新的图像编码策略，通过使用分层表示改善了精细的生物医学视觉理解，并且开发了LLama3-Med模型，在生物医学视觉问答基准测试中实现了最先进的零-shot性能，相比于以前的方法，平均性能提高超过10％，这些进展为医疗专业人员提供了更准确可靠的工具，弥补了当前多模态对话助手中的差距，并促进了医疗人工智能的进一步创新。

Jun, 2024

本研究针对现有生物医学领域大型语言模型(LLMs)文献缺乏综合分析的现状，进行了深入探讨。文章分析了484篇相关文献，探讨了LLMs在诊断辅助、药物发现和个性化医疗等任务中的能力，并指出在特定应用中提高模型表现的调适策略。此外，研究还揭示了数据隐私、模型可解释性等挑战，并提出未来的研究方向。

Aug, 2024

本研究解决了医疗领域单模态模型缺乏泛化性和可解释性的问题。提出的MedViLaM模型能够灵活编码和解释多种医疗数据，且在多个任务上表现优异，超越其他模型。此外，模型展示了在新医疗概念和任务上的零-shot 泛化能力，展现出其潜在的影响力。

Sep, 2024

本研究探讨了现有医学多模态大型语言模型在处理医学图像时的局限性，尤其是在识别具体关注区域方面的不足。提出了区域中心任务，并构建了包含区域信息的大型数据集MedRegInstruct，进而开发了首个双语医学AI系统MedRegA，显著提升了医学视觉语言任务的表现，包括视觉问答、报告生成和医学图像分类，增强了模型的可解释性和用户交互性。

Oct, 2024

本研究针对现有医疗多模态大型语言模型在具体区域识别能力不足的问题，提出了一种新的区域中心任务和大规模数据集MedRegInstruct，以增强模型理解医疗扫描中解剖区域的能力。我们的区域感知医疗大型语言模型MedRegA在处理多种医学视觉-语言任务时表现出色，显著提升了医疗模型的可解释性和用户互动性。

Oct, 2024

本研究针对医学领域缺乏多模态大语言模型的视觉定位应用问题，提出了一种名为PFMVG的高效参数微调方法，以提升医学视觉定位的表现。该模型在公开基准数据集上的评估显示，其性能优于现有的GPT-4v，具有显著的潜在影响。

Oct, 2024