Jan, 2023

基于 CLIP 的器官分割和肿瘤检测通用模型

PDF
TL;DR本文介绍了 CLIP-Driven Universal Model 模型，它基于 Contrastive Language-Image Pre-training 学习的文本嵌入，结合分割模型，可以分割 25 个器官和 6 种肿瘤，具有更高的泛化性能和更高的计算效率。
automated organ segmentationtumor detectionclip-driven universal modelanatomical relationshipsct scans
发现论文，激发创造
  • 用于腹部计算机断层扫描的器官分割与肿瘤检测的通用可扩展的语言 - 视觉模型

    提出了一种通用可扩展模型，利用人工智能技术进行器官分割和肿瘤检测，具有强大的计算效率和泛化能力，同时能够适应多种公开数据集和新类别，减轻以往类别的遗忘。

    May, 2024

  • 腹部多器官和肿瘤分割的持续学习

    本文提出了一种用于连续器官和肿瘤分割任务的创新结构，包括一系列轻量级的、类特定的输出头，以及将对比语言 - 图像预训练嵌入到器官特定的头中。实验结果表明该方法在学习过程中提高了基线神经网络对新引入和先前学习类别的分割性能。

    Jun, 2023

  • MedCLIP-SAM：将文本和图像融合以实现通用医学图像分割

    提出了一种新颖的框架 ——MedCLIP-SAM，结合了 CLIP 和 SAM 模型，使用文本提示在零样本和弱监督设置中生成临床扫描的分割，通过广泛测试三个不同的分割任务和医学图像模态，证明了该框架具有出色的准确性。

    Mar, 2024

  • CLIP 中的语言增强技术对多模态医学图像的改进解剖检测

    使用多模态的医学影像，利用视觉语言模型 (CLIP) 自动生成整体身体的标准化分区和器官列表，相较于基线模型 (PubMedCLIP)，提高性能达到 47.6%。

    May, 2024

  • 使用适应掩码的 CLIP 进行开放词汇语义分割

    该论文提出了一种针对开放词汇的语义分割方法，即通过预训练模型再特定训练样本上的微调和修正，来解决预训练模型在遮蔽图像上的效果问题，从而提高模型的泛化能力，并通过遮蔽抽取方法有效地提高了语义分割的效果。

    Oct, 2022

  • CLIP 手术技术用于开放式任务的解释性增强

    CLIP（Contrastive Language-Image Pre-training）是一种强大的多模态视觉模型，该论文提出了一种 CLIP Surgery 方法，可以在不降低性能的情况下提升 CLIP 的解释性和性能，并在开放词汇任务中获得了显着的提高，如 NUS-Wide 多标签识别上得到了 4.41% 的平均精度提升，Cityscapes 开放词汇语义分割任务上的 mIoU 也超过了现有方法的 8.74%。

    Apr, 2023

  • TagCLIP：提高开放式语料库语义分割的区分能力

    本研究针对 CLIP 在像素级开放词汇学习任务中面临的输入像素误识别问题，提出了一种名为 TagCLIP 的改进方法，通过引入一种名为 trusty token 的可信标记，成功提高了现有模型的泛化容量。针对 PASCAL VOC 2012 和 COCO-Stuff 164K 两大数据集，TagCLIP 对于未知分类的 IOU 值均有显著提升。

    Apr, 2023

  • 医学影像中的 CLIP 技术综述

    通过对 Contrastive Language-Image Pre-training (CLIP) 在医学成像领域中的深入探索，本综述论文旨在为医学图像分析领域的研究人员提供对 CLIP 范式及其潜在影响的整体理解。

    Dec, 2023

  • 使用 CLIP 的半监督图像字幕生成

    本文提出了一种利用 CLIP 模型进行半监督图像标注的方法，包括图像编码器、映射网络和语言模型，通过对比生成的标题和实际标题，并使用未标记的图像进行二次训练，得到了与完整数据集训练的业界最先进模型相比可比的性能，且标题更加独特、信息量更大，并且符合人类的偏好。

    Jun, 2023

  • TagCLIP：一种增强无需训练的 CLIP 开放词汇多标签分类的本地到全局框架

    通过局部到全局的框架，我们提出了一种扩展了 CLIP 的方法来提高多标签分类性能，并通过生成的标签在弱监督语义分割任务中取得了显著的性能提升。

    Dec, 2023