视觉语言合成数据增强心脏超声下游任务

Mar, 2024

视觉语言合成数据增强心脏超声下游任务

Vision-Language Synthetic Data Enhances Echocardiography Downstream Tasks

Pooria Ashrafian, Milad Yazdani, Moein Heidari, Dena Shahriari, Ilker Hacihaliloglu

TL;DR利用最近的视觉 - 语言模型，通过文本和语义标签图引导，产生多样和逼真的合成心脏超声图像数据，以保留原始图像的关键特征。研究了无条件生成、文本引导生成和混合方法，并展示出合成数据中存在的丰富上下文信息可能提高下游任务的准确性和可解释性，例如改善指标和更快收敛的心脏超声图像分割和分类。实现部分含有检查点、提示和创建的合成数据集可公开获取。

Abstract

High-quality, large-scale data is essential for robust deep learning models in medical applications, particularly ultrasound image analysis. Diffusion models facilitate high-fidelity medical image generation, red

deep learning models ultrasound image analysis diffusion models vision-language models echocardiography image data

发现论文，激发创造

合成推进：在超声心动图中利用合成数据增强视觉语言分割

通过使用合成数据集和语义扩散模型，提高了视觉 - 语言分割模型在超声心动图分割中的性能。

Sep, 2023

使用 GAN 生成 3D 心脏超声图像的合成标记数据集的数据增强流水线

通过结合详细的心脏解剖分割模型和真实数据集，利用生成对抗网络（GAN）生成 3D 合成数据集来解决医学成像领域中的数据收集和标注困难，从而应对 3D 心脏超声图像数据稀缺问题，并展示了该方法在分割算法训练中的潜在应用价值。

Mar, 2024

扰动与回声：利用扩散模型生成合成超声图像用于真实图像分割

本文提出了一种通过心脏超声语义标签图引导的去噪扩散概率模型（DDPMs）生成合成图像的新型流程，展示了这些合成图像可以作为医学影像分析任务的深度学习模型训练中真实数据的可行替代品，包括图像分割，并在未见实际数据的数据集上进行了评估，与现有技术相比，Dice 分数分别增加了 9.09％，3.7％和 15.0％，该流程具有应用于各种医学成像模态的各种其他任务的潜力。

May, 2023

通过扩散模型从舒张末期语义图合成超声心动图像

通过扩展现有的视频扩散模型，基于语义解剖信息生成超声心动图视频的研究，在改进合成过程中整合空间调整归一化，以提高生成视频的逼真性和连贯性，并在 CAMUS 数据集上展示了优于标准扩散技术的性能。

Oct, 2023

EchoNet-Synthetic: 隐私保护的安全医疗数据共享的视频生成

介绍一种新颖的端到端方法，用于生成非敏感患者信息的医疗数据集，并提供基于扩散模型的生成方法，用于生成高保真度、完整性和长期的医疗影像数据样本，以实现隐私合规的心脏超声心动图数据集的生成。

Jun, 2024

合성医学影像的质量如何？肺部超声的实证研究

通过使用生成模型中的合成训练数据，本研究提出了一个全面框架，以提高医学图像分析的模型开发效果，同时解决数据稀缺、数据不平衡和患者隐私问题。通过在各种规模的数据集上进行测试，我们展示了生成模型作为数据增广方法的优势，以及通过敌对方法保护患者隐私以及使用实际留存数据进行模型测试的新型性能指标。我们证明了使用合成数据和真实数据进行训练优于仅使用真实数据进行训练，并且仅使用合成数据进行训练的模型接近仅使用真实数据进行训练的模型。

Oct, 2023

航行合成领域：利用扩散模型进行腹腔镜文本到图像生成

通过扩散生成模型，我们提出了一种直观的方法来从短文本提示生成合成的腹腔镜图像，采用最先进的文本到图像架构，在图像引导手术领域，特别是腹腔镜和机器人辅助手术方面，得到了依靠合成图像数据和虚拟手术训练方法的强力帮助。

Dec, 2023

HeartBeat: 智能多模态条件导向扩散模型下的可控心脏超声视频合成

该研究提出了一种名为 HeartBeat 的基于扩散的框架，用于可控和高保真度的 ECHO（超声心动图）视频合成，通过同时感知多模态条件，将这些条件分解为局部和全局条件，并使用两阶段训练方案解耦视觉概念和时间动态学习，以简化模型训练，该框架可扩展到其他广泛应用，如基于遮罩引导的心脏 MRI 合成。在两个公共数据集上进行的广泛实验证明了 HeartBeat 的有效性。

Jun, 2024

一种具有对抗去噪扩散模型的领域翻译框架，用于生成心脏超声图像的合成数据集

利用对抗去噪扩散模型和生成对抗网络，训练出具有高泛化能力的生成模型，实现医学图像域转换，生成适用于临床研究目的的超声心动图像。

Mar, 2024

数字孪生心脏分析中心肌速度图的混合深度学习合成

研究提出了一个用于模拟合成心肌速度映像（3Dir MVM）数据的混合深度学习网络，从而可以通过克服解剖和生物化学现象建模的复杂性，生成更加真实的医学信号，此算法可以用于现实的医学研究中。

Mar, 2022