Jun, 2024

HeartBeat: 智能多模态条件导向扩散模型下的可控心脏超声视频合成

PDF
TL;DR该研究提出了一种名为 HeartBeat 的基于扩散的框架，用于可控和高保真度的 ECHO（超声心动图）视频合成，通过同时感知多模态条件，将这些条件分解为局部和全局条件，并使用两阶段训练方案解耦视觉概念和时间动态学习，以简化模型训练，该框架可扩展到其他广泛应用，如基于遮罩引导的心脏 MRI 合成。在两个公共数据集上进行的广泛实验证明了 HeartBeat 的有效性。
echocardiographyvideo synthesismultimodal conditionsdeep learning-based systemscardiac mri synthesis
发现论文，激发创造
  • 通过扩散模型从舒张末期语义图合成超声心动图像

    通过扩展现有的视频扩散模型，基于语义解剖信息生成超声心动图视频的研究，在改进合成过程中整合空间调整归一化，以提高生成视频的逼真性和连贯性，并在 CAMUS 数据集上展示了优于标准扩散技术的性能。

    Oct, 2023

  • EchoNet-Synthetic: 隐私保护的安全医疗数据共享的视频生成

    介绍一种新颖的端到端方法，用于生成非敏感患者信息的医疗数据集，并提供基于扩散模型的生成方法，用于生成高保真度、完整性和长期的医疗影像数据样本，以实现隐私合规的心脏超声心动图数据集的生成。

    Jun, 2024

  • 视觉语言合成数据增强心脏超声下游任务

    利用最近的视觉 - 语言模型，通过文本和语义标签图引导，产生多样和逼真的合成心脏超声图像数据，以保留原始图像的关键特征。研究了无条件生成、文本引导生成和混合方法，并展示出合成数据中存在的丰富上下文信息可能提高下游任务的准确性和可解释性，例如改善指标和更快收敛的心脏超声图像分割和分类。实现部分含有检查点、提示和创建的合成数据集可公开获取。

    Mar, 2024

  • 数字孪生心脏分析中心肌速度图的混合深度学习合成

    研究提出了一个用于模拟合成心肌速度映像（3Dir MVM）数据的混合深度学习网络，从而可以通过克服解剖和生物化学现象建模的复杂性，生成更加真实的医学信号，此算法可以用于现实的医学研究中。

    Mar, 2022

  • 多模态心脏超声图像解读的基础模型

    基于多模态深度学习的心脏超声图像和文本关联模型 (EchoCLIP) 可用于心脏功能评估、植入性心内设备识别、临床变化检测和图像 - 文本搜索。

    Aug, 2023

  • 利用高阶动态模态分解和视觉 Transformer 对小型数据集中的超声心动图图像进行自动心脏病理识别

    提出了一种基于深度学习框架的自动心脏病理识别系统，该系统通过实时心脏超声图像序列进行分析，包括使用 HODMD 算法进行数据增强和特征提取，并在第二阶段使用 Vision Transformer（ViT）进行有效的从零开始训练，结果表明该系统的优越性和 HODMD 算法的有效性。

    Apr, 2024

  • GEMTrans: 基于心脏超声诊断的通用、多级 Transformer 框架

    Echocardiography 的机器学习方法，具备解释性且适用于多视频训练，实现了心脏疾病的诊断和解释，尤其在主动脉瓣狭窄的检测中具备高准确性。

    Aug, 2023

  • DiffECG: 一种推广的基于概率的扩散模型用于合成心电图信号

    本文提出了一种基于去噪扩散概率模型的心电波形合成方法，此方法可以生成心跳、完成部分信号或进行心跳预测，且其效果较其他同类方法更佳，为心电信号合成提供了一个更为广义的条件方法。

    Jun, 2023

  • 低成本心脏血液动力学不稳定性检测的多模态变分自编码器

    利用低成本的胸部 X 光和心电图模态，结合大规模未标记数据的预训练方法，我们提出了一种新颖的多模态变分自编码器（CardioVAE_X,G），以实现对心脏血流动力学不稳定性（CHDI）的无创预测，在预测 CHDI 方面显示出有希望的性能，对相关的临床特征解释上也表现出色，从而支持临床决策。

    Mar, 2024

  • Temporal HeartNet：实现胎儿心脏筛查视频自动分析的人类水平

    该研究提出了一种自动描述以及指导超声（US）胎儿心脏视频图像解释的有用信息的方法，使用卷积神经网络与锚机制及 IoU 误差进行多任务预测和位置精确定位，最终能够精准地描述困难 US 视频中详细的心脏参数，实现与专家注释相当的性能，研究在临床数据集上进行。

    Jul, 2017