Dec, 2023

航行合成领域：利用扩散模型进行腹腔镜文本到图像生成

PDF
TL;DR通过扩散生成模型，我们提出了一种直观的方法来从短文本提示生成合成的腹腔镜图像，采用最先进的文本到图像架构，在图像引导手术领域，特别是腹腔镜和机器人辅助手术方面，得到了依靠合成图像数据和虚拟手术训练方法的强力帮助。
synthetic imagingsurgical imagingcomputer visionlaparoscopic imagingimage-guided surgery
发现论文，激发创造
  • 扩散模型的交互式生成腹腔镜视频

    通过使用扩散模型结合零样本视频扩散方法，通过文本指定手术动作并通过分割掩模指导生成真实的腹腔镜图像和视频，本研究在提高培训过程中迈出了重要一步，评估了生成的图像的保真度和事实正确性，获得了 FID 指标为 38.097 和 F1-score 指标为 0.71。

    Apr, 2024

  • 使用非配对的图像转换方式生成用于腹腔镜图像处理任务的大型标注数据集

    通过图像翻译方法，我们生成了外科镜检查图像的大量合成数据集，并展示了这样的数据集可用于训练和提高肝脏分割模型性能的可能性。

    Jul, 2019

  • MediSyn: 用于广泛医学 2D 和 3D 图像合成的文本引导扩散模型

    通过生成逼真且多样化的医学 2D 和 3D 图像，基于指令的文本导向潜在扩散模型 MediSyn 为算法的训练和研究提供了一个丰富且尊重隐私的资源，并通过已建立的指标展示了在医学图像和视频综合中以文本提示为导向的显著改进。

    May, 2024

  • 使用扩散模型增强场景文本检测器的真实文本图像合成

    通过扩充背景与前景文字的整合，Diffusion Model based Text Generator (DiffText) 创造了一种能生成真实文本图像并优化文本探测器性能的新型合成数据集方法。

    Nov, 2023

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024

  • 通过视觉和文本提示增强皮肤镜病变分割的扩散模型

    应用扩散模型结合病灶特定的视觉和文本提示生成皮肤镜检测图像，相对于传统生成模型在图像质量和皮损分割性能上表现更优，SSIM 图像质量指标提高 9%，Dice 系数超过先前方法 5% 以上。

    Oct, 2023

  • Derm-T2IM: 使用稳定的扩散模型利用合成皮肤损伤数据，通过 ViT 和 CNN 提升皮肤疾病分类

    研究探讨了通过稳定扩散模型生成的皮肤镜合成数据的利用，作为增强机器学习模型训练鲁棒性的策略。实验结果表明，通过稳定扩散模型生成的合成数据有助于提高卷积神经网络和视觉转换器模型的鲁棒性和适应性，对于两个不同的真实世界皮肤病变数据集，其效果显著。

    Jan, 2024

  • 腹部 CT 的语义图像合成

    我们研究了基于条件扩散模型的腹部 CT 语义图像合成，并对三种不同的扩散模型以及其他基于生成对抗网络的方法进行了系统评估。实验结果表明，扩散模型能够合成具有更好质量的腹部 CT 图像。此外，将语义掩码和输入分别编码比简单拼接更加有效。

    Dec, 2023

  • 利用潜在扩散模型的合成数据增强医疗图像分类器

    利用潜在扩散模型生成皮肤病图像的研究表明，通过合成数据训练模型可以在数据有限的情况下提高性能，但合成数据与真实数据相比仍然有较小的性能增益，因此收集多样的真实数据仍是提升医疗人工智能算法的重要步骤。

    Aug, 2023

  • 基于影像标注的潜在扩散模型用于增强组织病理学 AI 辅助癌症诊断

    人工智能基于图像分析在诊断组织病理学方面，尤其是癌症诊断方面具有巨大潜力。为了开发监督式人工智能方法，需要大规模的注释数据集。本研究提出了一种从自动提取的图像特征中构建结构化文本提示的方法。通过在提示中引入图像特征而不仅仅是正常和癌症标签，我们改善了 Fréchet Inception Distance (FID) 的性能，从 178.8 提升到 90.2。我们还表明，病理学家难以检测到合成图像，敏感性 / 特异性的中位数为 0.55/0.55。最后，我们展示了合成数据有效地训练人工智能模型。

    Dec, 2023