Aug, 2024

M4CXR：探索多模态大型语言模型在胸部X光解读中的多任务潜力

HTML
PDF
TL;DR本研究解决了现有大型语言模型在胸部X光（CXR）分析中多任务能力的不足与临床准确性问题。提出的M4CXR模型通过融合多种任务特定的数据集，在支持医疗报告生成、视觉定位与视觉问答等多任务时实现了最先进的临床准确性。研究表明，M4CXR在各种情境下的表现出色，展现了其在医疗影像理解中的广泛应用潜力。
发现论文，激发创造
  • 临床推理胸部影像数据集

    本研究提供了基于场景图的Chest ImaGenome数据集，利用自然语言处理和基于图集的边界框检测构建了局部标注，并通过放射学家构建的X线诊断本体论将每个CXR的注释连接为以解剖学为中心的场景图。

    Jul, 2021

  • XrayGPT: 医学视觉语言模型用于胸部X光摘要

    本研究介绍了 XrayGPT，一种新型的会话式医疗视觉-语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

    Jun, 2023

  • ELIXR: 通过对大型语言模型和医学成像视觉编码器的对齐，实现通用的X射线人工智能系统

    ELIXR是一种用于CXR AI的强大而多功能的方法，它在零样本和数据高效领域取得了显著结果，并在CXR图像分类、语义搜索和CXR视觉语言任务中表现出良好的性能。

    Aug, 2023

  • CXR-LLaVA：用于解读胸部 X 光图像的多模式大型语言模型

    利用大型语言模型 (LLM) 开发了多模态大型语言模型来解释胸部 X 射线图像，并研究了提示工程和模型参数对其效果的影响。通过对数据集进行预训练和微调，该模型在胸部 X 射线图像解释中显示了很好的潜力。

    Oct, 2023

  • MedXChat: 将胸部X光成像模态与统一的多模态大型模型相结合

    MedXChat是一个用于医学助理和用户之间无缝互动的统一多模态大型模型，包括CXR到报告生成、基于CXR的视觉问答和文本到CXR合成三个关键功能。该模型在医学多模态应用中显示出优异的跨任务适应性，并在MIMIC数据集上的性能超越了基准模型。此外，该研究还介绍了一种创新的文本到CXR合成方法，利用了Stable Diffusion（SD）架构内的指令跟随能力，无需额外参数，使模型能够生成高保真度的精细化医学图像。详尽的实验证实了MedXChat在所有任务上的协同增强效果。研究中的指令数据和模型将开源。

    Dec, 2023

  • CheXagent: 朝向胸部X射线解读的基础模型

    通过引入CheXinstruct数据集、设计临床大规模语言模型、图像编码器和网络以及引入CheXbench基准来解决医疗影像领域中胸部X射线图像自动解释的挑战，并证明CheXagent在这些任务中优于先前开发的通用和医学领域基础模型。

    Jan, 2024

  • WoLF：大规模语言模型框架用于CXR理解

    通过WoLF框架，我们解决了现有CXR理解框架的若干问题，通过捕捉多方位的病人记录进行准确诊断，通过解耦CXR报告中基于解剖结构的知识进行报告生成的性能增强，并通过AI评估协议在VQA和报告生成方面展示了卓越的性能。

    Mar, 2024

  • MedPromptX: 融入视听提示的胸部X射线诊断

    利用多模态大型语言模型、少样本训练提示、视觉定位将影像与电子病历数据结合，该研究提出了MedPromptX模型，用于胸部X射线诊断，有效提高了异常的识别能力。

    Mar, 2024

  • 辅助患者数据对自动胸部X射线报告生成的影响及如何整合

    该研究调查了将多样的患者数据源整合到多模态语言模型中，用于自动化胸部X射线报告生成。通过使用MIMIC-CXR和MIMIC-IV-ED数据集，该研究通过整合详细的患者信息，如不定期的生命体征、药物和临床病史，将异质数据源转化为嵌入向量，从而显著提高了生成放射学报告的诊断准确性。全面的评估显示了使用更广泛的患者数据的好处，强调了通过将多模态数据整合到胸部X射线报告生成中可以提高诊断能力和改善患者预后的潜力。

    Jun, 2024

  • CXR-Agent: 胸部X光解读的视觉语言模型及具备不确定性认知的放射学报告

    通过对Chest X-ray照片的解释和生成自然语言描述，结合高级推理，评估可用于医学报告生成的视觉-语言模型的性能，发现这些模型往往会产生具有自信的语言，从而导致临床解释的减慢。因此，我们开发了一种基于Agent的视觉-语言方法，使用线性探测和短语锚定工具生成基于不确定性的放射学报告，准确定位和描述病理学。通过开发评估平台进行用户研究，结合自然语言处理指标、Chest X-ray基准和呼吸专家的临床评估，我们的结果显示出在AI生成报告的准确性、解释性和安全性方面的相当大的改进。同时，强调需要更大规模的配对(照片和报告)数据集以及数据扩增来解决这些大型视觉-语言模型中的过拟合问题。

    Jul, 2024