EMNLPOct, 2023

探索 GPT-4 在放射学领域的边界

PDF
TL;DR本论文评估了目前最先进的大型语言模型 GPT-4 在放射学报告的文本应用中的表现，探索了各种提示策略，并发现 GPT-4 在常见放射学任务中表现要优于或与目前最先进的放射学模型相媲美。针对需要学习特定样式或架构的任务，GPT-4 通过基于示例的提示得到改进并与监督的最先进模型相匹配。通过与一名获得认证的放射科医生的广泛错误分析表明，GPT-4 在放射学知识方面具备足够水平，只偶尔在需要微妙领域知识的复杂上下文中出现错误。针对发现的总结，GPT-4 的输出整体上与现有的人工编写印象相当。
large language modelstext-based applicationsradiology reportsprompting strategiesfindings summarisation
发现论文，激发创造
  • Radiology-GPT：一种用于放射学的大型语言模型

    本文介绍了 Radiology-GPT，它是专门为放射学领域设计的大型语言模型，通过在广泛的放射学领域知识数据集上进行指令调整，Radiology-GPT 在放射诊断、研究和沟通方面表现出优越性能，是未来临床自然语言处理发展的催化剂，并且为将生成型大型语言模型定位到特殊医疗专业方向提供了可能性，同时确保符合 HIPPA 的隐私标准。

    Jun, 2023

  • 统一大型语言模型与本地微调模型在高度特化的放射学自然语言推理任务中的权衡探索

    本文评估了 ChatGPT / GPT-4 在放射学自然语言推理任务上的性能，并将其与其他针对任务相关数据样本进行微调的模型进行比较。结果显示，构建能解决不同领域的各种任务的通用模型是可行的。

    Apr, 2023

  • 使用 ChatGPT 和 GPT-4 进行提示学习的放射学报告翻译成简明语言：结果、限制和潜力

    本研究调查了使用 ChatGPT 将放射学报告翻译成简明语言以提高医疗保健的可行性，并将 ChatGPT 与 GPT-4 进行比较，结果发现 GPT-4 可以显著提高翻译的质量。

    Mar, 2023

  • XrayGPT: 医学视觉语言模型用于胸部 X 光摘要

    本研究介绍了 XrayGPT，一种新型的会话式医疗视觉 - 语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

    Jun, 2023

  • GPT-4V 仍无法生成放射学报告

    通过对 GPT-4V 在两个胸部 X 光报告数据集上生成报告的系统评估，我们发现它在词汇度量和临床有效性度量方面的表现均非常糟糕；我们将任务分解为两个步骤，即医学图像推理和（基于真实条件）生成报告，结果表明 GPT-4V 在图像推理方面的表现一直很差，而且即使在生成报告方面给予了真实条件，其生成的报告仍不如经过微调的 LLaMA-2 正确且自然。综上，我们对于在放射学工作流中使用 GPT-4V 的可行性提出了疑问。

    Jul, 2024

  • GPT-4 在医疗挑战问题上的能力

    通过对 USMLE 和 MultiMedQA 基准数据集的全面评估，我们发现不需要专门的提示造型来激发 GPT-4，它的表现超过了 USMLE 的合格分数约 20 分，并表现优于早期的通用模型（GPT-3.5）以及专门针对医学知识进行细化调整的模型（Med-PaLM，Flan-PaLM540B 的提示调整版本）。

    Mar, 2023

  • 从文本到图像：探索 GPT-4Vision 在各个亚专业的先进放射学分析中的潜力

    评估和比较 GPT-4 和 GPT-4Vision 在放射学任务中的作用，表明 GPT-4Vision 可以从图像中识别放射学特征，从而提高其在诊断潜力上，超过基于文本的描述。

    Nov, 2023

  • GPT-4V 在医学影像中的多模态能力综合研究

    这篇论文全面评估了 GPT-4V 在不同的医学图像任务中的能力，包括放射学报告生成、医学视觉问答和视觉基础。我们的研究首次对公开可用的基准进行了定量评估，发现了 GPT-4V 在为胸部 X 射线图像生成描述性报告方面的潜力，特别是在有良好结构提示的引导下。然而，我们的发现也揭示了 GPT-4V 在某些评估指标（如 CIDEr）上仍需改进，尤其是在 MIMIC-CXR 数据集基准上。在医学问答方面，虽然 GPT-4V 在区分问题类型方面表现出了熟练度，但在准确性方面还不及现有基准。此外，我们的分析发现了常规评估指标（如 BLEU 分数）的局限性，倡导发展更语义鲁棒的评估方法。在视觉基础领域，虽然 GPT-4V 在识别边界框方面显示了初步的潜力，但其精度不够，特别是在识别特定的医学器官和病症方面。我们的评估强调了 GPT-4V 在医学图像领域的重要潜力，同时也强调了需要针对性的改进来充分发挥其能力。

    Oct, 2023

  • 多模态大型语言模型在医学影像和自由文本报告数据挖掘中的潜力

    通过对 14 个医学影像和放射学报告数据集进行综合评估，我们发现 Gemini 系列模型在报告生成和病灶检测方面表现出色，但在疾病分类和解剖学定位方面面临挑战；相反，GPT 系列模型在病灶分割和解剖学定位方面表现出色，但在疾病诊断和病灶检测方面遇到困难。虽然这两种模型在减轻医生工作负担、缓解有限医疗资源压力以及促进临床从业者与人工智能技术之间的合作方面都有潜力，但在临床应用之前，还需要进行实质性的改进和全面的验证。

    Jul, 2024

  • 评估大型语言模型在高度专业化主题放射肿瘤物理学上的应用

    本研究研究使用 LLMS 答题的能力。我们开发了一个包含 100 个肿瘤放射物理学问题的考试，将四个 LLM（ChatGPT（GPT-3.5），ChatGPT（GPT-4），巴德（LaMDA）和 BLOOMZ）与医学物理学家和非专业人员进行了评估。ChatGPT（GPT-4）平均表现优于所有其他 LLM 以及医学物理学家。ChatGPT（GPT-4）在被激发先解释，然后再回答的情况下表现得更好。ChatGPT（GPT-4）展示了出人意料的准确性，表明了一种新颖的推理能力，但存在固有属性以及无法通过大多数投票进一步提高得分。

    Apr, 2023