Oct, 2023

通过视觉和文本提示增强皮肤镜病变分割的扩散模型

PDF
TL;DR应用扩散模型结合病灶特定的视觉和文本提示生成皮肤镜检测图像，相对于传统生成模型在图像质量和皮损分割性能上表现更优，SSIM 图像质量指标提高 9%，Dice 系数超过先前方法 5% 以上。
发现论文，激发创造
  • Derm-T2IM: 使用稳定的扩散模型利用合成皮肤损伤数据，通过 ViT 和 CNN 提升皮肤疾病分类

    研究探讨了通过稳定扩散模型生成的皮肤镜合成数据的利用，作为增强机器学习模型训练鲁棒性的策略。实验结果表明，通过稳定扩散模型生成的合成数据有助于提高卷积神经网络和视觉转换器模型的鲁棒性和适应性，对于两个不同的真实世界皮肤病变数据集，其效果显著。

    Jan, 2024

  • 数据集扩散：基于扩散的像素级语义分割合成数据集生成

    通过利用文本到图像生成模型 Stable Diffusion (SD) 的文本提示、交叉注意力和自我注意力，我们引入了三种新技术：类别提示附加，类别提示交叉注意力和自我注意力指数化，从而生成与合成图像相对应的分割地图，这些地图可以作为训练语义分割器的伪标签，消除了对像素级注释的繁重需求，我们还在 PASCAL VOC 和 MSCOCO 两个数据集上进行了评估，我们的方法明显优于同行的工作。

    Sep, 2023

  • 基于影像标注的潜在扩散模型用于增强组织病理学 AI 辅助癌症诊断

    人工智能基于图像分析在诊断组织病理学方面，尤其是癌症诊断方面具有巨大潜力。为了开发监督式人工智能方法，需要大规模的注释数据集。本研究提出了一种从自动提取的图像特征中构建结构化文本提示的方法。通过在提示中引入图像特征而不仅仅是正常和癌症标签，我们改善了 Fréchet Inception Distance (FID) 的性能，从 178.8 提升到 90.2。我们还表明，病理学家难以检测到合成图像，敏感性 / 特异性的中位数为 0.55/0.55。最后，我们展示了合成数据有效地训练人工智能模型。

    Dec, 2023

  • EMIT-Diff：通过文本引导的扩散模型增强医学图像分割

    本文提出了一种用于医学图像合成的新方法，即 EMIT-Diff，它利用最近的扩散概率模型生成逼真且多样化的合成医学图像数据，并确保合成样本符合医学相关约束并保留成像数据的底层结构。在多个数据集上进行的实验证明了 EMIT-Diff 在医学图像分割任务中的有效性，并展示了引入首个文本引导的扩散模型用于通用医学图像分割任务的可行性。

    Oct, 2023

  • DiffSeg：一种基于扩散差异的皮肤病变分割模型

    DiffSeg 基于扩散差异原理，利用扩散模型从具有多样的语义信息的图像中提取基于噪声的特征，识别出疾病区域，同时通过模拟医生的注释行为，可视化分割结果的一致性和模糊性，并使用广义能量距离（GED）量化输出不确定性，帮助医生解释和决策。最后，通过密集条件随机场（DenseCRF）算法整合输出，考虑像素之间的相关性，改善准确度并优化分割结果。我们在 ISIC 2018 Challenge 数据集中展示了 DiffSeg 的有效性，优于现有基于 U-Net 的方法。

    Apr, 2024

  • SceneGenie: 基于场景图引导的扩散模型图像合成

    本文提出了一种针对扩散模型的新型引导方法，通过边界框和分割映射信息进行推理时间的采样过程，有效提高了文本到图像生成的准确性和分辨率，从而在场景图像生成方面取得了更好的表现和效果，并在公共基准测试中超越了基于场景图像和文本的扩散模型。

    Apr, 2023

  • 基于分割引导扩散模型的可控解剖学医学影像生成

    通过扩充小规模或不平衡数据集来生成高质量的影像，本研究提出了一种扩散模型来实现解剖结构控制的医学影像生成，有别于现有模型，该模型在每个采样步骤中遵循多类解剖学分割掩模，并采用随机掩模消融算法来实现对所选解剖约束的条件控制。在乳腺磁共振成像和腹部 / 颈至骨盆 CT 数据集上进行比较评估，验证了本模型对于解剖结构真实性和掩模准确性的优越性。此外，我们提供易于使用的代码库并发布了一个生成的成对乳腺磁共振成像数据集，该方法具有多种应用，包括预注册影像生成和反事实情境分析等。

    Feb, 2024

  • 基于扩散模型的测试时间图像适应性用于鲁棒皮肤病变分类

    我们提出了一种测试时间图像适应方法，通过同时更新和预测测试图像来提高模型在测试数据上的准确性，通过扩散模型将目标测试图像反投影到源域，设计结构指导模块通过低通滤波添加细化操作，用于正则化扩散以保留结构信息，并引入自整合方案自动调整对适应和未适应输入的依赖关系，增强适应鲁棒性。在我们构建的 ISIC2019-C 和 Dermnet-C 损坏鲁棒性评估基准上进行的大量实验表明，我们的方法在各种损坏、体系结构和数据区域上使分类器更加鲁棒。我们的数据集和代码将在 https://github.com/minghu0830/Skin-TTA_Diffusion 上提供。

    May, 2024

  • 扩散模型是一个无需训练的开放词汇语义切分工具

    最近的研究探讨了利用预训练的文本 - 图像判别模型（如 CLIP）来解决与开放词汇语义分割相关的挑战。然而，值得注意的是，这些模型基于对比学习的对齐过程可能无意中导致重要的定位信息和物体完整性的丢失，这对于实现准确的语义分割至关重要。最近，人们越来越有兴趣将扩散模型应用于文本到图像生成任务以外的领域，特别是在语义分割领域。这些方法利用扩散模型生成注释数据或提取特征以促进语义分割。为此，我们揭示了生成式文本到图像条件扩散模型作为高效的开放词汇语义分割器的潜力，并引入了一种名为 DiffSegmenter 的无需训练的新方法。具体而言，通过将输入图像和候选类别输入到现成的预训练条件潜在扩散模型，由去噪 U-Net 产生的交叉注意力图直接用作分割分数，然后由后续的自注意力图进一步细化和完成分割。此外，我们精心设计了有效的文本提示和类别过滤机制以进一步增强分割结果。在三个基准数据集上的广泛实验证明，所提出的 DiffSegmenter 在开放词汇语义分割方面取得了令人印象深刻的结果。

    Sep, 2023

  • 使用合成磁共振图像的脑肿瘤分割 ——GAN 和扩散模型的比较

    本文研究了利用生成模型如 GANs 构建的合成影像，其在大脑肿瘤分割任务上与真实影像训练的性能差异，发现实验结果在一定数据量下合成影像可以很好地训练神经网络，而常用的评估合成影像的指标无法很好地预测其在特定任务上的性能。

    Jun, 2023