多模态心脏超声图像解读的基础模型
Echocardiography 的机器学习方法,具备解释性且适用于多视频训练,实现了心脏疾病的诊断和解释,尤其在主动脉瓣狭窄的检测中具备高准确性。
Aug, 2023
通过自监督学习在 150 万个心脏超声图像上训练的 EchoAI 模型,成功地评估了心脏射血分数,并获得了平均绝对百分比误差为 9.40%,与专业超声检查者的表现相当。
Nov, 2023
通过利用运动模式的超声心动图进行左心室射血分数的估计和心肌病的分类,详细研究了基于对无标签数据进行结构化利用的对比学习技术在心脏成像方面的有效性和高准确性。
Sep, 2023
基于自监督对比学习的深度学习模型通过学习心脏核磁共振扫描伴随的放射学报告的原始文本中的视觉概念,展示了对人类心血管疾病和健康的全面评估;我们的模型在美国的四个大型学术临床机构的数据上训练和评估,并在英国 BioBank 和其他两个公开可用的外部数据集上展示了卓越的性能,实现了包括左心室射血分数回归和 35 种不同病症(如心脏淀粉样变及肥厚型心肌病)的诊断等一系列任务,显示出对人类心血管疾病的复杂性的理解能力,并在仅需要一部分通常用于这种任务的训练数据的情况下,实现了令人印象深刻的临床级诊断准确率。
Dec, 2023
本篇研究提出了基于 3D nnU-Net 的深度学习方法在医学图像分割方面的应用。 作者比较了该方法与传统 2D 和循环分割方法,并且在新的私人数据集 CARDINAL 上测试了其性能。 结果表明该方法在时序一致性和跨数据集泛化性方面具有优势,并有望成为临床工具的首选。
May, 2023
本文提出了一种视图无关的超声心动图分析方法,通过 prompt 匹配和预训练的视觉模型学习不同视图的专用提示,并利用预训练的医学语言模型将文本信息与像素数据对齐,以实现精准的分割,大量实验证明该方法在三个标准视图上明显优于最新的通用方法,并实现与同视图训练和测试的分割模型相当甚至更好的性能。
Apr, 2024
本论文介绍了一个新的用于心脏超声检测的数据集 CAMUS,并评估了使用深度卷积神经网络方法自动分割心脏结构以及估计临床指标的效果,结果表明此方法优于传统非深度学习方法,但仍需改进,可用于 2D 心脏超声图像准确且自动化的分析。
Aug, 2019
利用深度学习和转换器模型,我们提出了一种方法,通过预测临床评分的假设任务,联合从电子病历和超声心动图提取的全部描述符,学习表征艰难识别的心血管病理(高血压),并详细描述了高血压对多个心脏功能描述符的影响。
Jan, 2024
eCLIP 是 CLIP 模型的增强版本,通过整合放射科医师眼动热图的专家注释,解决对比性多模式医学图像分析中的关键挑战,特别是数据稀缺和 “模态差异”。它通过整合热图处理器和利用稀缺的专家注释的 mixup 数据增强,提高模型的学习效果。通过多个任务的详细评估,包括零样本推理、线性探测、跨模态检索和使用冻结的大型语言模型进行检索增强生成(RAG)放射学报告,eCLIP 展示了嵌入质量的持续改进,揭示了增强的对齐性和一致性,证实了 eCLIP 在医学图像领域利用高质量注释进行丰富的多模态分析能力。
Mar, 2024
通过多模态学习心电图记录和相关报告,提出了一种 Multimodal ECG Representation Learning (MERL) 框架,可通过文本提示进行零样本心电图分类,消除对下游任务训练数据的需求,并使用 LLM 来利用外部专家验证的临床知识数据库,生成更具描述性的提示,提升零样本分类性能。基于 MERL,在六个公共心电图数据集上进行了首次评估,显示出 MERL 相对于 ECG 自监督学习方法具有更优异的性能,平均 AUC 得分为 75.2%,比使用 10%注释训练数据的线性探测式 ECG 自监督学习方法高出 3.2%。
Mar, 2024