GPT-4V 仍无法生成放射学报告
本文提出了一个可以考虑到临床精度的全自动胸部X光辐射学报告生成系统,利用计算机视觉和自然语言生成的高级方法来生成可读的报告,重点关注临床领域的细微差别,并通过强化学习来微调该系统。
Apr, 2019
本研究调查了使用ChatGPT将放射学报告翻译成简明语言以提高医疗保健的可行性,并将ChatGPT与GPT-4进行比较,结果发现GPT-4可以显著提高翻译的质量。
Mar, 2023
本论文评估了目前最先进的大型语言模型GPT-4在放射学报告的文本应用中的表现,探索了各种提示策略,并发现GPT-4在常见放射学任务中表现要优于或与目前最先进的放射学模型相媲美。针对需要学习特定样式或架构的任务,GPT-4通过基于示例的提示得到改进并与监督的最先进模型相匹配。通过与一名获得认证的放射科医生的广泛错误分析表明,GPT-4在放射学知识方面具备足够水平,只偶尔在需要微妙领域知识的复杂上下文中出现错误。针对发现的总结,GPT-4的输出整体上与现有的人工编写印象相当。
Oct, 2023
这篇论文全面评估了GPT-4V在不同的医学图像任务中的能力,包括放射学报告生成、医学视觉问答和视觉基础。我们的研究首次对公开可用的基准进行了定量评估,发现了GPT-4V在为胸部X射线图像生成描述性报告方面的潜力,特别是在有良好结构提示的引导下。然而,我们的发现也揭示了GPT-4V在某些评估指标(如CIDEr)上仍需改进,尤其是在MIMIC-CXR数据集基准上。在医学问答方面,虽然GPT-4V在区分问题类型方面表现出了熟练度,但在准确性方面还不及现有基准。此外,我们的分析发现了常规评估指标(如BLEU分数)的局限性,倡导发展更语义鲁棒的评估方法。在视觉基础领域,虽然GPT-4V在识别边界框方面显示了初步的潜力,但其精度不够,特别是在识别特定的医学器官和病症方面。我们的评估强调了GPT-4V在医学图像领域的重要潜力,同时也强调了需要针对性的改进来充分发挥其能力。
Oct, 2023
通过评估 GPT-4 对于胸部 X 射线的生成能力,本研究探讨了基于多模态基础模型的放射学印象生成的潜力,发现放射学评估与常见自动评估指标存在显著差异,并暴露了 AI 生成结果存在潜在偏见的问题。
Nov, 2023
放射学报告是现代医学的重要组成部分,自动化报告生成和AI生成的报告对放射学家和临床决策具有潜在的帮助,但面临着质量评估和医生参与的挑战。本研究展示了放射科医生与AI系统进行合作的潜力以及AI生成报告与专家撰写报告的比较结果。
Nov, 2023
本研究介绍了针对生物医学图像分析的GPT-4V的大规模评估,评估了GPT-4V在医学成像领域的表现和局限性,包括放射学、肿瘤学、眼科学、病理学等16个医学成像类别的任务,结果显示GPT-4V在成像模态和解剖定位方面表现出色,但在疾病诊断和定位方面存在一定困难,而且在生成诊断报告方面表现优异,需要进一步提升和验证才能在临床应用前达到可靠,该研究推动对多模态大语言模型的理解,并指导未来工作在医疗应用方面的发展。
Nov, 2023
通过对Generative Pre-trained Transformer 4 with Vision (GPT-4V)在图像理解、医学知识回忆和多模态推理等方面综合分析,本研究发现GPT-4V在多项选择准确性方面超过人类医生(88.0% vs. 77.0%,p=0.034),且在诊断错误的情况下准确率超过80%。然而,我们还发现,GPT-4V在作出正确选择的情况下,其解释经常存在缺陷(27.3%),尤其在图像理解方面(21.6%)。尽管GPT-4V在多项选择问题上准确率较高,但我们的发现强调了在将这类模型整合到临床工作流程之前进一步深入评估其解释的必要性。
Jan, 2024
通过使用设计精心的提示,我们展示了GPT作为熟练标注器的潜力。利用只有GPT标记的数据,我们训练了基于BERT的标注器CheX-GPT,其操作速度更快、更高效。为了评估标注器的性能,我们引入了一个公开可用的专家标注测试集MIMIC-500,包含来自MIMIC验证集的500个案例。我们的研究结果证明了CheX-GPT不仅在标注准确性上优于现有模型,而且在效率、灵活性和可扩展性方面也表现出色,得益于我们引入的MIMIC-500数据集进行强大的基准测试。代码和模型可以在此链接找到。
Jan, 2024
本文展示了尽管 GPT-4 在零样本报告分类方面优于开源模型,但在实现少样本提示的情况下,开源模型与 GPT-4 相当。这表明对于放射学报告分类任务,开源模型可以成为具备高性能和隐私保护的选择替代GPT-4。
Feb, 2024