Jun, 2023

探索零样本 CLIP 在间质性肺疾病分类中的多功能性

PDF
TL;DR本研究采用机器学习的方法，利用多模态（图像和文本）的自监督模型 CLIP，对间质性肺疾病（ILD）进行分类，并探索了如何利用域自适应预训练（DAPT）CLIP 实现零样本分类，通过使用 CLIP 提取的 “patch montage” 和 DAPT，实现了强大的 ILD 分类结果，包括 0.893 的 AUROC，为医学图像分类任务提供了一种新的解决方案。
发现论文，激发创造
  • CLIP-Lung: 基于文本知识指导的肺结节恶性预测

    本文提出了 CLIP-Lung 作为肺结节恶性预测的文本知识引导框架，通过融合深度学习和临床文本信息提高了肺结节恶性预测的性能和可解释性。

    Apr, 2023

  • CXR-CLIP：大规模胸部 X 光照片语言 - 图像预训练

    本文研究了利用大规模图像 - 文本配对数据集进行视觉语言预训练模型的发展，解决医疗领域中缺乏数据的问题，并通过扩展图像 - 标签对为图像 - 文本对，利用多个图像和多个部分的放射学报告来提高模型性能。同时设计了两个对比损失，ICL 和 TCL，来学习医学图像和报告的研究级特征。我们的模型在相同条件下优于现有的最先进模型。此外，扩大数据集能够提高我们预训练模型的分类性能，尽管在检索性能方面有所牺牲。代码可在此网址获得。

    Oct, 2023

  • 使用领域预训练语言模型提高低患病率胸部病变的零样本检测

    本文探讨利用特定领域预训练模型（如 CXR-BERT、BlueBERT 和 ClinicalBERT）替换 CLIP 的 BERT 权重以提高 CLIP 的性能，并针对低流行病的疾病检测评估了具有特定领域预训练的零样本分类模型，虽然替换权重降低了常见病的模型表现，但我们发现预训练文本确实对低流行病疾病具有更好的性能，鼓励未来使用多种不同的训练语言模型的集成模型以实现最大性能。

    Jun, 2023

  • 皮肤科人工智能中零样本概念生成的数据对齐

    人类语义相关且医学领域精确的元标签在皮肤病学中的 AI 分类模型培训中十分稀缺，CLIP 模型可通过利用互联网上的大量图像 - 标题对进行零样本学习以解决数据缺乏的问题，并可以通过使用领域特定的图像 - 标题对对其进行微调来提高分类性能。

    Apr, 2024

  • MedCLIP: 对未配对的医学影像和文本进行对比学习

    本文提出了一种用于对医学图像和文本进行训练的的简单而有效的框架 ——MedCLIP，该框架采用了对抗学习和多模式学习，并引入医学知识语义匹配。实验结果表明，MedCLIP 在零样本预测、有监督分类和图像文本检索等方面超过了现有最佳方法。令人惊讶的是，仅使用了 20K 的预训练数据就超过了使用约 200K 数据的现有最佳方法。

    Oct, 2022

  • ChatGPT 辅助的可解释零样本医学图像诊断框架

    该研究提出了一种基于 CLIP 和 ChatGPT 的零样本医学图像分类框架，使用大型语言模型自动生成额外的线索和知识以进行更准确和可解释的诊断，展示了 VLM 和 LLM 在医疗应用中的巨大潜力。

    Jul, 2023

  • RadCLIP：通过对比语言 - 图像预训练增强放射学图像分析

    人工智能与放射学的整合标志着医学诊断的一个转型时代，采用视觉基础模型改进放射学图像分析，引入 RadCLIP 用于优化放射学图像分析，包括创新的三维切片池化机制和多样的放射学图像 - 文本数据集，评估结果显示 RadCLIP 可以有效对齐放射学图像与对应的文本标注，并提供强大的视觉支持。

    Mar, 2024

  • 优化医学多模态对比学习：专家批注

    eCLIP 是 CLIP 模型的增强版本，通过整合放射科医师眼动热图的专家注释，解决对比性多模式医学图像分析中的关键挑战，特别是数据稀缺和 “模态差异”。它通过整合热图处理器和利用稀缺的专家注释的 mixup 数据增强，提高模型的学习效果。通过多个任务的详细评估，包括零样本推理、线性探测、跨模态检索和使用冻结的大型语言模型进行检索增强生成（RAG）放射学报告，eCLIP 展示了嵌入质量的持续改进，揭示了增强的对齐性和一致性，证实了 eCLIP 在医学图像领域利用高质量注释进行丰富的多模态分析能力。

    Mar, 2024

  • MedCLIP-SAM：将文本和图像融合以实现通用医学图像分割

    提出了一种新颖的框架 ——MedCLIP-SAM，结合了 CLIP 和 SAM 模型，使用文本提示在零样本和弱监督设置中生成临床扫描的分割，通过广泛测试三个不同的分割任务和医学图像模态，证明了该框架具有出色的准确性。

    Mar, 2024

  • 提升人工智能生成图像检测的水平与 CLIP

    本研究旨在探索预训练视觉 - 语言模型（VLMs）在人工智能生成图像的普适检测中的潜力。我们基于 CLIP 特征开发了一种轻量级检测策略，并研究其在各种具有挑战性的场景下的性能。我们发现，与以往的观点不同，并不需要使用大量特定领域的数据集进行训练是必要且方便的。相反，通过仅利用来自单个生成模型的少量示例图像，基于 CLIP 的检测器展现出了出乎意料的泛化能力，并且在包括 Dalle-3、Midjourney v5 和 Firefly 在内的最新商业工具中具有高鲁棒性。我们在分布内数据上与 SoTA 相匹配，并在分布外数据的泛化能力（AUC 提高 6%）和受损 / 清洗数据的鲁棒性上实现了显著的改进（+ 13％）。我们的项目可以在此 https URL 找到。

    Nov, 2023