Apr, 2023

UniSeg：一个基于提示的通用分割模型和强表示学习器

PDF
TL;DR本研究提出了一种基于可学习的通用提示的通用分割模型（UniSeg），用于多任务医学图像分割，融合多个模态和域，通过动态卷积层提取感兴趣的目标，从而实现了模型在早期意识到正在进行的任务，并提高了整个解码器的任务特定训练。在 11 个上游任务和 2 个下游任务中， UniSeg 相对于其他预训练模型和单任务模型表现更优秀。
universal segmentation modelmulti-task medical image segmentationlearnable universal promptdynamic convolutional layerspre-trained model
发现论文，激发创造
  • UniverSeg：通用医学图像分割

    UniverSeg 利用新的交叉块机制解决了无需额外训练的医学图像分割任务，其中使用的 MegaMedical 数据集包含 53 个开放数据集，22,000 个扫描，UniverSeg 在各种解剖学和成像模式下的训练使其能够在新任务中表现出色。

    Apr, 2023

  • PromptUNet: 拟人化交互式医学图像分割

    本文针对现有 Prompt 模型在医学图像分割方面的表现较差的问题，将 Prompt-based segmentation 和 UNet 结合起来设计出一种新的医学图像分割模型 ——PromptUNet，并新添了 Supportive Prompts 和 En-face Prompts 等 Prompt 类型，实验结果表明 PromptUNet 在医学图像分割上的精度高于当前主流的 nnUNet、TransUNet、UNetr、MedSegDiff 和 MSA 等方法。

    May, 2023

  • 一种通用的基于文本提示的医学图像分割模型

    本研究中，我们建立了一个可以通过文本提示来在医疗场景中对任意物体进行分割的模型，称之为 SAT。我们的主要贡献有三个方面：（一）在数据构造方面，我们整合了多个知识源来构建一个多模态的医学知识树，并通过收集超过 11,000 个来自 31 个分割数据集的三维医学图像扫描的大规模分割数据集进行训练，同时对图像扫描和标签空间进行了精确标准化；（二）在模型训练方面，我们提出了一种通用的分割模型，可以通过输入文本形式的医学术语进行提示。我们提出了一种知识增强的表示学习框架以及一系列有效训练策略，结合了大量数据集进行训练；（三）在模型评估方面，我们用只有 107M 参数的 SAT-Nano 模型对 31 个不同的分割数据集进行了分割，使用文本提示，得到了 362 个类别。我们从身体区域的平均值、类别的平均值和数据集的平均值三个方面对模型进行了全面评估，结果表明与 36 个专家 nnUNets 的性能相当，即我们对每个数据集 / 子集训练 nnUNet 模型，为 31 个数据集训练了 36 个大约有 1,000M 参数的 nnUNets 模型。我们将在本报告中公布所有用到的代码和模型，即 SAT-Nano，并且我们将在不久的将来提供 SAT-Ultra，它将在更多的多样化数据集上使用更大尺寸的模型进行训练。

    Dec, 2023

  • DeepUniUSTransformer: 通向通用超声模型的有引导深度学院 Transformer

    提出了一种名为 DeepUniUSTransformer 的新型通用超声波框架，可适应多个临床任务，包括分割任务和计算机辅助诊断任务，通过引入一个新的模块将相关信息作为提示，并优于使用单个数据集进行训练的模型和缺乏提示指导的网络的消融版本。

    Jun, 2024

  • UniVS：具备提示查询的统一通用视频分割

    通过使用提示作为查询，我们提出了一种新颖的统一视频分割 (UniVS) 架构，该架构平均目标的前几帧的提示特征作为初始查询来明确解码掩码，并在掩码解码器中引入了一种目标导向的提示交叉注意力层，以将提示特征集成到内存池中。通过将先前帧中的实体的预测掩码作为其视觉提示，UniVS 将不同的视频分割任务转化为提示引导的目标分割，消除了启发式的帧间匹配过程。我们的框架不仅统一了不同的视频分割任务，还保证在不同的场景中实现了通用的训练和测试，确保了稳健的性能。UniVS 在 10 个具有挑战性的视频分割基准上展现了出色的性能和通用性，涵盖了视频实例、语义、全景、物体和引用分割任务。

    Feb, 2024

  • 用语言指导进行任意粒度的通用分割

    实现任意语义级别的通用分割模型 UniLSeg，通过语言指导实现各种任务和设置的优秀性能。

    Dec, 2023

  • 一个统一的三维场景理解框架

    提出了 UniSeg3D，这是一个统一的三维分割框架，可以在一个模型内完成全景、语义、实例、交互、指向性和开放词汇的语义分割任务。该方法将六个任务统一为由相同 Transformer 处理的统一表示，促进了任务间的知识共享，从而提升了对三维场景的综合理解。通过利用任务连接，通过设计知识蒸馏和对比学习方法，在多任务统一化的基础上提高了性能。在三个基准测试中的实验证明了 UniSeg3D 的优越性，即使是那些专门针对特定任务的方法也无法与之相比。希望 UniSeg3D 能够作为一个坚实的统一基准，并激发未来的研究。

    Jul, 2024

  • 承诺：利用图像模型驱动的 3D 医学图像分割

    我们提出了一种基于预训练 2D 图像模型的策略，使用单点提示来进行 3D 医学图像分割，并通过引入轻量级适配器来提取深度相关的（3D）空间上下文，以实现准确的边界。与其他分割方法相比，我们的方法在结肠和胰腺肿瘤分割方面具有卓越的性能。

    Oct, 2023

  • FreeSeg: 统一、通用和开放词汇库的图像分割

    本文提出了一种通用框架 FreeSeg，通过一次训练优化全一体网络，并采用相同的架构和参数在推理过程中无缝处理各种分割任务。此外，自适应提示学习有助于统一的模型捕捉任务感知和类别敏感概念，在多任务和各种场景中提高模型鲁棒性。大量实验结果表明，在三个分割任务上，FreeSeg 在性能和泛化方面建立了新的最先进结果，比最好的任务特定架构高出很大的幅度：在语义分割、实例分割和 COCO 上的全景分割中，未见类别的 PQ 分别达到 5.5％，17.6％和 20.1％。

    Mar, 2023

  • 像医学住院医师一样培训：通过上下文先验学习的通用医学图像分割

    提出了一种基于上下文先验学习的通用医学图像分割方法 Hermes，适用于不同临床目标、身体部位和图像模态，并在七个数据集上证明了其性能优异，并且具有传输学习和概括到不同下游任务的强大能力。

    Jun, 2023