本研究采用机器学习的方法，利用多模态（图像和文本）的自监督模型 CLIP，对间质性肺疾病（ILD）进行分类，并探索了如何利用域自适应预训练（DAPT）CLIP 实现零样本分类，通过使用 CLIP 提取的 “patch montage” 和 DAPT，实现了强大的 ILD 分类结果，包括 0.893 的 AUROC，为医学图像分类任务提供了一种新的解决方案。

Jun, 2023

肺癌是全球死亡的主要原因，早期筛查对改善生存结果至关重要。本文提出一种模拟放射科医生诊断过程的方法，由上下文解析和原型召回模块组成，通过利用肺结节的内在特征和来自其他结节的外部知识，实现了良好的筛查性能。

Jul, 2023

本文研究了利用大规模图像 - 文本配对数据集进行视觉语言预训练模型的发展，解决医疗领域中缺乏数据的问题，并通过扩展图像 - 标签对为图像 - 文本对，利用多个图像和多个部分的放射学报告来提高模型性能。同时设计了两个对比损失，ICL 和 TCL，来学习医学图像和报告的研究级特征。我们的模型在相同条件下优于现有的最先进模型。此外，扩大数据集能够提高我们预训练模型的分类性能，尽管在检索性能方面有所牺牲。代码可在此网址获得。

Oct, 2023

本文提出了一种用于对医学图像和文本进行训练的的简单而有效的框架 ——MedCLIP，该框架采用了对抗学习和多模式学习，并引入医学知识语义匹配。实验结果表明，MedCLIP 在零样本预测、有监督分类和图像文本检索等方面超过了现有最佳方法。令人惊讶的是，仅使用了 20K 的预训练数据就超过了使用约 200K 数据的现有最佳方法。

Oct, 2022

通过多视图乳房 X 光片和简单文本的多模态框架 Mammo-CLIP，本研究展示了应用微调视觉语言模型来开发下一代基于图像文本的乳腺癌 CAD 方案的潜力。

Apr, 2024

提出了一种基于广义可加模型和概念学习的可解释模型，以增加用于评估肺结节恶性程度的现代计算机辅助诊断系统的透明度。该模型在确定恶性程度回归得分之外，检测了一组临床上显著的属性，并学习了肺结节属性与最终诊断决策以及其对决策的贡献之间的关联。通过与 LIDC-IDRI 数据集的实验，结果表明使用提出的模型获得的诊断结果与临床实践中观察到的相似模式一致，并展现了出色的分类和结节属性评分性能，凸显其在肺结节诊断中有效决策的潜力。

May, 2024

肺癌的计算机辅助诊断使用大型视觉语言模型，通过 CADe 和 CADx 方法实现肺结节的分割和良性 / 恶性的特征对齐，具有较高的敏感度（0.86）。

Jul, 2024

本文介绍了 CLIP-Driven Universal Model 模型，它基于 Contrastive Language-Image Pre-training 学习的文本嵌入，结合分割模型，可以分割 25 个器官和 6 种肿瘤，具有更高的泛化性能和更高的计算效率。

Jan, 2023

本文提出了针对乳腺癌检测中计算机辅助诊断（CAD）的大型和多样化训练数据的不足问题，通过使用大规模图像文本数据集进行预训练，通过视觉 - 语言模型（如 CLIP）部分解决了计算机视觉中鲁棒性和数据效率的问题。我们首次提出了 Mammo-CLIP，使用大量乳腺癌筛查乳房矩阵报告对其进行了预训练，解决了数据集多样性和规模的挑战。我们在两个公共数据集上的实验证明了该方法在乳腺癌检测中对关键的分类和定位属性表现出了类似 CLIP 在计算机视觉中的数据效率和鲁棒性。此外，我们还提出了 Mammo-FActOR，一种新颖的特征归因方法，可以提供在乳腺病理学报告中基于句子级粒度的空间解释。代码可在公开网址 https://github.com/batmanlab/Mammo-CLIP 上获得。

May, 2024

人工智能与放射学的整合标志着医学诊断的一个转型时代，采用视觉基础模型改进放射学图像分析，引入 RadCLIP 用于优化放射学图像分析，包括创新的三维切片池化机制和多样的放射学图像 - 文本数据集，评估结果显示 RadCLIP 可以有效对齐放射学图像与对应的文本标注，并提供强大的视觉支持。

Mar, 2024