ICMLJul, 2023

ChatGPT 辅助的可解释零样本医学图像诊断框架

PDF
TL;DR该研究提出了一种基于 CLIP 和 ChatGPT 的零样本医学图像分类框架，使用大型语言模型自动生成额外的线索和知识以进行更准确和可解释的诊断，展示了 VLM 和 LLM 在医疗应用中的巨大潜力。
zero-shot medical image classificationpretrained vision-language modelsclipexplainable diagnosislarge language models
发现论文，激发创造
  • 皮肤科人工智能中零样本概念生成的数据对齐

    人类语义相关且医学领域精确的元标签在皮肤病学中的 AI 分类模型培训中十分稀缺，CLIP 模型可通过利用互联网上的大量图像 - 标题对进行零样本学习以解决数据缺乏的问题，并可以通过使用领域特定的图像 - 标题对对其进行微调来提高分类性能。

    Apr, 2024

  • 无 Token 留存：可解释性辅助的图像分类与生成

    本研究提出了一种基于解释性的方法来解决在零样本学习和图像生成中使用 CLIP 时输入文本的稳定性问题，此方法通过增加一项损失项来确保 CLIP 关注所有相关的语义部分，并且可以提高图像识别率和生成图像的质量。同时，研究还展示了 CLIP 在一次性分类、对生成模型进行指导和有空间条件的基于文本的图像生成方面的新型应用。

    Apr, 2022

  • ChatGPT 强化层次比较在图像分类中的应用

    使用预训练的视觉 - 语言模型，通过分层比较的方式，解决零样本开放词汇挑战中的图像分类问题，克服了 CLIP 中的偏差，实现了直观、有效且可解释的方法。

    Nov, 2023

  • ChatGPT 智能诊断开启医学影像潜能

    提出一个基于深度学习和 ChatGPT 的决策支持系统来辅助医疗保健机构和病人进行诊断、治疗和管理健康情况。该系统包含三个阶段：数据收集和标注，模型训练和诊断报告生成，可以提高决策能力，降低成本和提高医疗机构的能力，通过大量的实验得出自动诊断通过医疗图像具有良好的性能。

    May, 2023

  • MedCLIP: 对未配对的医学影像和文本进行对比学习

    本文提出了一种用于对医学图像和文本进行训练的的简单而有效的框架 ——MedCLIP，该框架采用了对抗学习和多模式学习，并引入医学知识语义匹配。实验结果表明，MedCLIP 在零样本预测、有监督分类和图像文本检索等方面超过了现有最佳方法。令人惊讶的是，仅使用了 20K 的预训练数据就超过了使用约 200K 数据的现有最佳方法。

    Oct, 2022

  • 使用 ChatGPT 进行零样本临床实体识别

    本研究旨在探究以零注释方式进行临床命名实体识别任务中，OpenAI 开发的大型语言模型 ChatGPT 以两种不同提示策略的潜力。我们将其与 GPT-3 在类似的零注释情况下进行比较，以及使用来自 MTSamples 的一组合成临床笔记的精调 BioClinicalBERT 模型。研究发现，与 GPT-3 相比，ChatGPT 在零注释情况下表现优异，并且使用不同的提示策略可以过提高其性能。虽然 ChatGPT 的表现仍低于 BioClinicalBERT 模型，但本研究证明了 ChatGPT 在不需要注释的情况下进行临床 NER 任务的巨大潜力。

    Mar, 2023

  • 预训练视觉语言模型中的伪提示生成，面向多标签医学图像分类

    该研究介绍了一个新的提高医学图像识别性能的方法，利用预训练视觉 - 语言模型和伪提示生成来实现多标签分类和自动诊断，对比实验证明了其在多标签胸部放射图数据集上的卓越性能。

    May, 2024

  • 使用 ChatGPT 进行基于放射学报告的零样本信息提取

    大规模语言模型 ChatGPT 可用于从放射学报告中提取有用信息，但仍需进一步改进。

    Sep, 2023

  • ChatGPT 在生物医学任务中的评估：与微调生成变换器的零样本比较

    本文旨在评估 ChatGPT 在生物医学领域中各种基准任务（如关系提取、文档分类、问答和摘要）的性能，在拥有较小训练集的生物医学数据集中，zero-shot ChatGPT 甚至优于最先进的经调优生成变换器模型（如 BioGPT 和 BioBART），这表明 ChatGPT 在生物医学领域也非常专业，具备成为缺乏大型注释数据的各种生物医学任务的有价值工具的潜力。

    Jun, 2023

  • 利用现成的扩散模型进行医学术语定位

    使用潜在扩散模型在零样本的情况下，通过选择特征和后处理进行文本引导的医学扫描的定位，相比于显式对齐图像与文本的联合嵌入空间的最新方法表现出竞争力并在多种病理类型上优于它们。

    Apr, 2024