Apr, 2024

基于扩散的零样本医学图像到图像转换用于跨模态分割

PDF
TL;DR通过使用深度生成模型，本文提出了一种新颖的无监督图像转换方法，以实现零样本跨模态图像分割任务，并通过与其他生成模型的实证比较进行了验证。
cross-modality image segmentationzero-shot learninggenerative modelsunsupervised image translationdiffusion guidance
发现论文，激发创造
  • 零样本跨模态数据翻译：基于互信息引导的随机扩散

    本文提出了一个名为互信息指导扩散的跨模态数据翻译模型（MIDiffusion）来解决零样本学习交叉模态数据翻译的基本挑战，该方法不需要基于源与目标领域的直接映射，且在实践中应用跨模态数据翻译方法具有优势。

    Jan, 2023

  • 零样本开放词汇分割的扩散模型

    本文提出了一种基于大规模文本到图像扩散模型的零样本开放词库分割方法，通过考虑采样的图像的背景来更好地定位对象并直接分割背景，并证明该方法可以在多个基准测试中表现出色，在 Pascal VOC 基准测试上领先了超过 10%。

    Jun, 2023

  • 通过频率引导扩散模型实现零样本医学图像翻译

    使用频域滤波器来指导扩散模型，以实现结构保留图像翻译的频率引导扩散模型（FGDM），同时在医学图像翻译中具有零样本学习的能力。 该模型在结构保留医学图像翻译任务中具有良好的性能。

    Apr, 2023

  • 基于 Transformer 的跨模态肿瘤分割的图像级监督和自训练

    我们提出了一种名为 MoDATTS 的新的半监督训练策略，用于处理自动医学图像分割中存在的模态遗传性问题，并通过图像转换和视觉转换器实现更准确的肿瘤分割。该模型在 CrossMoDA 2022 挑战中表现出优越的性能，并在 BraTS 2020 挑战数据集上显示出一致的改进。

    Sep, 2023

  • 基于扩散的图像转换在领域自适应语义分割中的应用

    通过使用源领域标签作为图像翻译的明确指导，本文提出了一种创新的方法来解决领域自适应语义分割中的语义一致的局部细节保持问题，并利用了渐进翻译学习策略来实现在具有大差距领域中可靠工作的语义梯度引导方法。大量实验证明了我们方法相对于最先进的方法的优越性。

    Aug, 2023

  • 基于交叉模态学习的三维语义分割领域自适应

    本文介绍了一种新的领域适应策略 - “交叉模态学习”，在无监督和半监督领域适应设置下，通过两种模式的相互模仿实现模态之间的一致性，在 3D 语义分割任务中证明了该方法的有效性

    Jan, 2021

  • ZoDi: 基于扩散的图像转换的零样本领域自适应

    本文提出了一种基于扩散模型的零样本领域自适应方法，名为 ZoDi，它具有两个设计特点：零样本图像转换和模型自适应。通过利用现成的扩散模型将源图像的领域转移到目标领域，我们首先合成目标领域的类似图像，以维持布局和内容，然后在训练模型时使用源图像和合成图像，并同时最大化两个领域图像的特征相似性，从而学习到具有领域鲁棒性的表示。通过实验证明了 ZoDi 在图像分割任务中优于现有的方法，并且比已有的基于 CLIP 的方法更具通用性，因为它不依赖于特定的骨干结构或模型，并且可以通过检查生成的图像来估计模型的性能。我们的实现将公开提供。

    Mar, 2024

  • 跨模态传递的零样本学习

    该研究提出了一种模型，即使没有针对该对象的训练数据，也能在图像中识别对象，并从无监督的大型文本语料库中获取对未知类别的必要知识，在语言中的分布式信息可以被视为理解物体外观的语义基础。

    Jan, 2013

  • 使用生成混合增强和自训练的交叉模态肿瘤分割

    本文介绍了一种用于肿瘤分割的新型深度学习方法，该方法使用了基于图像转换和 Segementation 的迭代自训练算法以及一种名为 GBA（Generative Blending Augmentation）的数据增强技术，使用 SinGAN 生成模型来使目标肿瘤出现得更加真实，从而提高了分割模型的泛化能力，并在 MICCAI CrossMoDA 2022 演示中的肿瘤分割任务中名列前茅。

    Apr, 2023

  • 跨模态医学图像分割的简单而强大的框架: Vision Transformers 应用

    通过使用单一的条件模型，根据输入类型调整其归一化层来实现多模态图像的公平图像分割，并在多模态全心分割挑战中优于其他跨模态分割方法。

    Oct, 2023