EMNLPOct, 2022

MedCLIP: 对未配对的医学影像和文本进行对比学习

PDF
TL;DR本文提出了一种用于对医学图像和文本进行训练的的简单而有效的框架 ——MedCLIP，该框架采用了对抗学习和多模式学习，并引入医学知识语义匹配。实验结果表明，MedCLIP 在零样本预测、有监督分类和图像文本检索等方面超过了现有最佳方法。令人惊讶的是，仅使用了 20K 的预训练数据就超过了使用约 200K 数据的现有最佳方法。
发现论文，激发创造
  • 利用连续提示进行医学影像 - 文本 - 标签联合对比学习

    本文提出了一种基于连续提示的统一图像 - 文本 - 标签对比学习框架，从数据统一性，多样性和假阴性样本等方面解决了医学图像对比学习中的的挑战，并在多个下游任务中展现出了出色的表现。

    Jul, 2023

  • CLIP 在医学领域是否像在通用领域一样有益于视觉问答？

    本研究探究了 CLIP 在医学领域中应用的效果，并试图通过针对性的 PubMedCLIP 模型，与基于 MAML 模型和 CLIP 模型的医学视觉问答进行比较，证明通过语言监督的视觉表示学习能够显著提升 MedVQA 中的表现。

    Dec, 2021

  • 医学影像中的 CLIP 技术综述

    通过对 Contrastive Language-Image Pre-training (CLIP) 在医学成像领域中的深入探索，本综述论文旨在为医学图像分析领域的研究人员提供对 CLIP 范式及其潜在影响的整体理解。

    Dec, 2023

  • ComCLIP: 无须训练的图文组合匹配

    本文通过提出一种新颖的训练免费的组合 CLIP 模型 (ComCLIP) 来解决复合图像和文本匹配的问题，通过将输入图像分解为主题、对象和动作子图像，并组合 CLIP 的视觉编码器和文本编码器来在组成性文本嵌入和子图像嵌入上执行动态匹配，从而实现了对差异性语义的建模，提高了 CLIP 的零样本推理能力。

    Nov, 2022

  • MedCLIP-SAM：将文本和图像融合以实现通用医学图像分割

    提出了一种新颖的框架 ——MedCLIP-SAM，结合了 CLIP 和 SAM 模型，使用文本提示在零样本和弱监督设置中生成临床扫描的分割，通过广泛测试三个不同的分割任务和医学图像模态，证明了该框架具有出色的准确性。

    Mar, 2024

  • PMC-CLIP：使用医学文献进行对比语言 - 图像预训练

    本文介绍了一种基于 PMC-OA 生物医学数据集的 CLIP-style 预训练模型，该模型在多项下游任务中取得了最先进的结果，包括 ROCO 的图像文本检索、MedMNIST 的图像分类和医学 VQA。

    Mar, 2023

  • 视觉语言预训练的改进基线

    本文中，我们提出了一些基线模型，将对比学习与最近的自监督学习进展相结合，用于生成多模态表示。除了使用对比性损失，我们还使用了已被证明对视觉自监督学习成功的损失函数来对齐图像和文本模态。而使用更有效的数据增广技术可以提高模型性能，使我们在四个标准数据集上获得了最先进的性能。

    May, 2023

  • 使用科学论文数据训练 CLIP 模型

    通过使用科学论文的文本 - 图像数据，该研究探索在特定领域内加入具有更高质量的有限数量数据是否能够提高 CLIP 模型的整体性能。小规模实验结果显示模型性能有中等程度的提升，表明使用该研究所考虑的数据来源来训练大规模 CLIP 模型是一个有价值的研究方向。

    Nov, 2023

  • 生物医学视觉语言处理的大规模领域特定预训练

    本文介绍了 BiomedCLIP 在生物医学视觉语言处理方面的应用，该方法针对生物医学 VLP 进行改进和优化，实验结果显示，BiomedCLIP 已成为标准数据集中广泛应用于检索、分类和视觉问答等任务的新的最佳模型，且在某些领域甚至胜过了目前的最新模型。

    Mar, 2023

  • 优化医学多模态对比学习：专家批注

    eCLIP 是 CLIP 模型的增强版本，通过整合放射科医师眼动热图的专家注释，解决对比性多模式医学图像分析中的关键挑战，特别是数据稀缺和 “模态差异”。它通过整合热图处理器和利用稀缺的专家注释的 mixup 数据增强，提高模型的学习效果。通过多个任务的详细评估，包括零样本推理、线性探测、跨模态检索和使用冻结的大型语言模型进行检索增强生成（RAG）放射学报告，eCLIP 展示了嵌入质量的持续改进，揭示了增强的对齐性和一致性，证实了 eCLIP 在医学图像领域利用高质量注释进行丰富的多模态分析能力。

    Mar, 2024