本研究中，我们建立了一个可以通过文本提示来在医疗场景中对任意物体进行分割的模型，称之为 SAT。我们的主要贡献有三个方面：（一）在数据构造方面，我们整合了多个知识源来构建一个多模态的医学知识树，并通过收集超过 11,000 个来自 31 个分割数据集的三维医学图像扫描的大规模分割数据集进行训练，同时对图像扫描和标签空间进行了精确标准化；（二）在模型训练方面，我们提出了一种通用的分割模型，可以通过输入文本形式的医学术语进行提示。我们提出了一种知识增强的表示学习框架以及一系列有效训练策略，结合了大量数据集进行训练；（三）在模型评估方面，我们用只有 107M 参数的 SAT-Nano 模型对 31 个不同的分割数据集进行了分割，使用文本提示，得到了 362 个类别。我们从身体区域的平均值、类别的平均值和数据集的平均值三个方面对模型进行了全面评估，结果表明与 36 个专家 nnUNets 的性能相当，即我们对每个数据集 / 子集训练 nnUNet 模型，为 31 个数据集训练了 36 个大约有 1,000M 参数的 nnUNets 模型。我们将在本报告中公布所有用到的代码和模型，即 SAT-Nano，并且我们将在不久的将来提供 SAT-Ultra，它将在更多的多样化数据集上使用更大尺寸的模型进行训练。

Dec, 2023

利用临床报告来实现弱标签监督学习以提高癌症检测的准确性。通过将诊断和肿瘤位置文本提示整合到视觉语言模型的文本编码器中，可以有效地在视觉语言模型的潜在空间中进行弱监督学习的优化，从而提高训练的稳定性。在大规模癌症数据集上的广泛数量实验结果验证了我们的方法可以将人工标注工作量减少至少 70%，同时保持与竞争的全监督方法相当的癌症检测准确性（AUC 值 0.961 vs 0.966）。

May, 2024

该论文提出了一种基于文本监督的语义分割方法，通过使用仅限于图像 - 文本对而不使用密集标注的方式学习一种能够在图像内部分割任意视觉概念的模型。通过图像 - 文本对的对比学习，有效地实现了视觉分割与文本的对齐。为了解决文本对齐与语义分割之间存在的问题，我们提出了一种新颖的框架，即图像 - 文本协同分解（CoDe），其中配对的图像和文本分别被共同分解为一组图像区域和一组单词片段，并且采用对比学习来强制执行区域 - 单词的对齐。为了配合视觉语言模型，我们提出了一种提示学习机制，从而衍生出额外的表示以突出显示感兴趣的图像段落或单词片段，从该段落中可以提取出更有效的特征。综合实验结果表明，我们的方法在六个基准数据集上优于现有的文本监督的语义分割方法。

Apr, 2024

利用语言线索将医学先验知识注入到视觉分割网络中，提出了一种自定义 SAM 用于文本提示的糖尿病视网膜病变分割的新框架 TP-DRSeg，实验结果表明该框架优于传统模型和基础模型变种。

Jun, 2024

通过整合各种任务到一个统一模型并利用大量未标记数据来进行半监督医学图像分割，我们介绍了一个名为 VerSemi 的全新的多功能半监督框架，实验证明它在公共基准数据集上始终可以通过较大的边际优势（例如，在四个数据集上平均达到 2.69％的 Dice 增益）超越其他方法，为半监督医学图像分割设定了新的最佳表现。

Nov, 2023

本文介绍了一种新颖的针对医学图像分割的半监督学习框架，核心是创新的多尺度文本感知 ViT-CNN 融合方案，该方案巧妙地结合了 ViTs 和 CNNs 的优势，充分利用了视觉 - 语言模态中的互补信息。进一步丰富我们的框架，我们提出了多轴一致性框架，生成稳健的伪标签，从而提升了半监督学习过程。我们在多个常用数据集上进行了广泛的实验，这些实验无可辩驳地证明了我们方法的有效性。

Sep, 2023

本文提出了一种基于文本信息的显式对比学习机制，通过使用文本编码器特征来学习更强大的特征表示，以增强模型对数据的理解，从而在不同的分割任务中实现了更强大的性能。

Apr, 2024

本文提出了一种弱监督整个切片图像分割的框架，利用标准的临床注释，采用多实例学习方案进行模型训练，并在 The Cancer Genome Atlas 和 PatchCamelyon 数据集上进行了评估，显示出一定的潜力.

Apr, 2020

本文提出了一种半弱监督分割算法，基于新的深度监督学习方法和学生 - 教师模型，结合各种监督信号以实现易于集成，有效地减少了昂贵标注的要求。经过实验验证，该算法在视网膜液体分割上取得了成功。

Apr, 2021

通过多模态网络，该工作借助互联网上的图像标注来进行弱监督学习，实现语境上下文对图像中出现的类别的提取与分割，并在 COCO 数据集上取得了 SOTA 的结果。

May, 2019