Oct, 2023

GPT-4 对医学图像分类的视角 -- 以 COVID-19 数据集为例

PDF
TL;DR本报告介绍了 GPT-4 Vision（GPT-4V）在 COVID-19 图像分类领域的应用，利用上下文学习的变革潜力增强诊断过程。
gpt-4 visioncovid-19image classificationin-context learningdiagnostic processes
发现论文，激发创造
  • GPT-4V 能在医学应用中发挥作用吗？基于 GPT-4V 的多模态医学诊断案例研究

    通过评估 OpenAI 最新模型 GPT-4V (ision) 在多模态医学诊断领域中的表现，我们发现尽管 GPT-4V 在区分医学图像模态和解剖学方面表现出色，但在疾病诊断和生成综合报告方面面临重大挑战，这表明尽管大型多模态模型在计算机视觉和自然语言处理方面取得了重大进展，但其在有效支持现实医疗应用和临床决策方面仍有很大差距。

    Oct, 2023

  • 从文本到图像：探索 GPT-4Vision 在各个亚专业的先进放射学分析中的潜力

    评估和比较 GPT-4 和 GPT-4Vision 在放射学任务中的作用，表明 GPT-4Vision 可以从图像中识别放射学特征，从而提高其在诊断潜力上，超过基于文本的描述。

    Nov, 2023

  • GPT-4V 在医学影像中的多模态能力综合研究

    这篇论文全面评估了 GPT-4V 在不同的医学图像任务中的能力，包括放射学报告生成、医学视觉问答和视觉基础。我们的研究首次对公开可用的基准进行了定量评估，发现了 GPT-4V 在为胸部 X 射线图像生成描述性报告方面的潜力，特别是在有良好结构提示的引导下。然而，我们的发现也揭示了 GPT-4V 在某些评估指标（如 CIDEr）上仍需改进，尤其是在 MIMIC-CXR 数据集基准上。在医学问答方面，虽然 GPT-4V 在区分问题类型方面表现出了熟练度，但在准确性方面还不及现有基准。此外，我们的分析发现了常规评估指标（如 BLEU 分数）的局限性，倡导发展更语义鲁棒的评估方法。在视觉基础领域，虽然 GPT-4V 在识别边界框方面显示了初步的潜力，但其精度不够，特别是在识别特定的医学器官和病症方面。我们的评估强调了 GPT-4V 在医学图像领域的重要潜力，同时也强调了需要针对性的改进来充分发挥其能力。

    Oct, 2023

  • 挑战性医疗案例中的视觉与语言模型准确度

    基于本研究的结果，利用大规模通用语言模型结合图像能够有效应对复杂医学病例，但图像的添加可能降低模型的准确性。

    Nov, 2023

  • 医学应用的多模态 ChatGPT：GPT-4V 的实验研究

    我们对最先进的多模态大型语言模型 GPT-4V 在视觉问答任务中的能力进行了关键评估，实验充分评估了 GPT-4V 在使用包括 11 种模态（如显微镜、皮肤镜、X 射线、CT 等）和十五种感兴趣的对象（如脑、肝脏、肺等）的病理学和放射学数据集中回答带有图像的问题的能力。我们的数据集涵盖了广泛的医学问题和十六种不同的问题类型。通过准确度评分的实验结果表明，目前的 GPT-4V 版本在应对诊断性医学问题方面的准确性不可靠且次优。此外，我们详细描述了 GPT-4V 在医学视觉问答中的七个独特特征，突出了其在这个复杂领域中的局限性。我们评估案例的完整细节可在此 https URL 上找到。

    Oct, 2023

  • COVID-VIT：基于视觉变换模型的 CT 胸部图像 COVID-19 分类

    本文通过建立可解释的视觉 Transformer 深度学习技术，旨在基于胸部 X 线片预测 COVID-19 肺炎的诊断结果，以期进行更快速、准确和规范的人群筛查，通过对病人的三维数据进行二分类的训练，分析和探究了两种深度学习方法，即建立在传统卷积神经网络（CNN）基础上的 DenseNet 和基于关注模型的视觉 Transformer，结果表明视觉 Transformer 表现更佳，F1 分数为 0.76。

    Jul, 2021

  • GPT-4V (ision) 作为社交媒体分析引擎

    利用现有基准数据集对 GPT-4V 的五项任务进行定量分析，并选择有代表性的样本详细评估其在社交多媒体内容理解方面的潜力，结果显示 GPT-4V 在情感分析、仇恨言论检测、假新闻识别、人口推断和政治意识形态检测等任务上展现出显著的效果，并具备图像 - 文本配对的联合理解、文化和语境意识、以及广泛的常识知识，但在涉及多语言社交多媒体理解和对社交媒体最新趋势的泛化方面仍存在挑战，同时在涉及名人和政治家知识的持续发展背景下，会出现错误信息生成的倾向，这反映了已知的幻觉问题，研究结果表明，大型多模态模型在通过分析多模态信息来增进对社交媒体内容及其用户的理解方面具有巨大的潜力。

    Nov, 2023

  • 使用 BERT 和 GPT-2 进行 COVID-19 医疗研究文章的自动文本摘要

    我们利用预先训练的 NLP 模型 BERT 和 OpenAI GPT-2，通过对 COVID-19 开放研究数据集中的文本进行摘要来解决研究人员与快速增长出版物之间的差距，我们的模型提供了基于原始文章提取的关键词的抽象和综合信息，我们的工作可以帮助医学界通过提供简要摘要来处理那些摘要尚不可用的文章。

    Jun, 2020

  • 通往通用异常检测和理解的道路：大规模视觉语言模型（GPT-4V）领先

    使用 GPT-4V 模型进行多模态异态检测任务，包括图像、视频、点云和时间序列数据，在工业、医学、逻辑、视频和 3D 异态检测以及定位任务等多个应用领域中，通过引入类别信息、人类专业知识和参考图像等提示来提高模型性能。在实验中，GPT-4V 模型证明在零 / 一次检测中能够高效地检测和解释全局和细粒度语义模式，从而能够准确区分正常和异常实例，展现出潜在的通用异态检测能力，为异态检测开辟了新的方法。

    Nov, 2023

  • XrayGPT: 医学视觉语言模型用于胸部 X 光摘要

    本研究介绍了 XrayGPT，一种新型的会话式医疗视觉 - 语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

    Jun, 2023