Oct, 2024

深度生成模型通过视觉-语言条件揭示医学图像中的模式

HTML
PDF
TL;DR本研究针对深度生成模型在医学图像分析中的应用，揭示其在模式识别中的能力。我们提出了一种创新的方法，将临床数据转化为文本描述，并引入文本-视觉嵌入机制，使得生成模型能够有效利用信息。实验结果表明，该方法在捕捉特定属性对医学图像模式的影响上，具有显著的有效性和潜在的临床应用价值。
发现论文，激发创造
  • 现实世界中的深度生成模型：医学图像的开放挑战

    本文探讨使用最新的基于自动编码器的深度生成模型，例如变分自动编码器和对抗性自动编码器，在医学成像中运用于异常检测一项任务。结果表明，深度生成模型在异常检测方面存在挑战，但可以提供给研究人员一个方便的医学成像数据集。

    Jun, 2018

  • 将预训练的视觉语言基础模型应用于医学图像领域

    本研究旨在将大型预训练基础模型的表现能力扩展到特定的医疗概念中，通过研究Stable Diffusion模型的子组件，进而生成医学影像，并通过定量和定性的方法对模型效果进行评估。

    Oct, 2022

  • 基于生成式文本引导的三维视觉语言预训练，用于统一医学图像分割

    本研究提出了一种3D医学图像的方法——生成式文本引导3D视觉语言预训练。研究在Computed Tomography(CT)、Magnetic Resonance Imaging(MRI)和电子显微镜(EM)图像数据上进行了验证，结果表明该方法在医学图像分割任务中的效果优异。

    Jun, 2023

  • 医学影像数据增强的深度学习方法综述

    深度生成模型在医学图像增强中的应用和潜力是本综述的重点，旨在通过人工合成更真实多样且符合数据真实分布的数据样本来改善医学图像分析中深度学习算法的性能，涵盖了三种类型的深度生成模型：变分自编码器、生成对抗网络和扩散模型。

    Jul, 2023

  • 医学影像生成人工智能：扩展MONAI框架

    最近在生成AI方面取得的突破已经在多个领域，包括医学成像方面，取得了令人难以置信的进展。我们提出了MONAI生成模型，这是一个开放源代码的平台，可以帮助研究人员和开发人员轻松训练、评估和部署生成模型及相关应用。

    Jul, 2023

  • 利用合成数据进行医学视觉-语言预训练：绕开真实图像的需求

    利用合成图像从真实医学报告中生成的医学影像，可以有效地实现医学视觉与语言预训练(VLP)，并且在图像分类、语义分割和目标检测等任务上，利用合成数据的性能与真实数据相当甚至超过。

    Oct, 2023

  • 多种医学模态下的合成数据生成人工智能：最新发展及挑战的系统综述

    本研究综述了生成模型在合成各种医学数据类型方面的广泛应用，探索了合成应用、生成技术和评估方法等方面的见解，强调了医学数据的唯一性和临床应用的需求。同时，研究也揭示了医学图像评估方法的不足之处，呼吁进行深入评估、基准测试和比较研究以促进开放和合作。

    Jun, 2024

  • 生成式人工智能在超低数据环境下实现医学图像分割

    本研究针对医学图像分割中数据稀缺的问题，通过引入一种生成式深度学习框架，创新性地生成高质量的配对分割掩码和医学图像，作为训练鲁棒模型的辅助数据。实验结果显示，该方法在超低数据情况下表现出强大的推广能力，相较于现有方法，所需的训练数据减少了8到20倍，同时取得了10-20%的整体性能提升。

    Aug, 2024

  • 多条件去噪扩散概率模型（mDDPM）用于医学图像合成

    本研究针对医学图像合成中的数据集多样性和准确性问题，提出一种基于多条件输入的合成图像生成框架。通过使用去噪扩散概率模型（DDPM），我们展示了该框架能够生成高度准确的肺部CT图像，能够以假乱真地欺骗专家，推动了医学图像生成领域的发展。

    Sep, 2024

  • 医疗视觉语言预训练能否成功依赖纯合成数据？

    本研究解决了医疗视觉语言预训练（MedVLP）在缺少高质量图文配对数据情况下的训练问题。通过使用生成模型生成合成放射学报告和胸部X光图像，并提出了一种自动化管道，构建了多样且高质量的合成数据集。研究结果表明，专门使用合成数据训练的MedVLP模型在零样本分类任务中的表现优于基于真实数据的模型，并展示了合成数据在医学图像理解中的潜在积极影响。

    Oct, 2024