基于序列的心脏超声探头指导预训练
该研究提出了一种自动描述以及指导超声(US)胎儿心脏视频图像解释的有用信息的方法,使用卷积神经网络与锚机制及IoU误差进行多任务预测和位置精确定位,最终能够精准地描述困难US视频中详细的心脏参数,实现与专家注释相当的性能,研究在临床数据集上进行。
Jul, 2017
通过在线特征解耦框架OnUVS,我们成功合成了具有高保真度的超声视频,通过将解剖学信息引入关键点学习、实现内容和纹理特征解耦、采用多特征鉴别器提取全面的视觉提示以及限制关键点的运动轨迹,从而提升了合成视频的流畅性。
Aug, 2023
本文引入了EchoTracker,一种基于学习的点追踪技术,在超声图像序列中实现对组织表面上查询点的追踪,该技术能够提高超声心动图中的定位和测量精度,为临床诊断和预后评估提供更高的价值。
May, 2024
心脏舒张是一种实时成像心脏并可以诊断大部分心脏疾病的技术,但由于心脏的复杂结构和操作中的挑战,经验丰富的心脏超声检查员严重短缺。为了缓解这个情况,我们提出了一种名为 Cardiac Copilot 的系统,它能够提供实时的探头移动指导,帮助缺乏经验的超声检查员进行自由手持式超声心动图检查。该系统可以使非专家,特别是在基层科室和医疗资源匮乏的地区,进行心脏超声检查,潜在地改善全球医疗保健。其核心创新在于提出了一种名为 Cardiac Dreamer 的数据驱动世界模型,用于表示心脏的空间结构。这个世界模型可以在潜在空间中提供当前探头位置周围任何心脏切面的结构特征,作为自主定位的精确导航地图。我们使用110个例行临床扫描的实际超声数据和相应的探头运动以及三名认证超声检查员获得的15.1万样本对训练我们的模型。对37K个样本对在三个标准切面上进行的评估表明,该世界模型能够将导航错误降低高达33%并表现出更稳定的性能。
Jun, 2024
通过超声帧到体积的实时融合,基于术中2D图像和术前3D体积,提供了一个全面的心脏介入手术指导视图。然而,由于心脏超声图像在信噪比低、相邻帧之间差异小,以及2D帧和3D体积之间尺寸变化显著,因此实现实时准确的心脏超声帧到体积的配准是一项非常具有挑战性的任务。本文提出了一种轻量级的端到端心脏超声帧到体积配准网络,称为CU-Reg。具体而言,该模型利用心外膜引导的解剖线索来加强2D稀疏和3D密集特征的交互作用,然后通过体素级的局部全局特征汇聚增强特征,从而提高低质量超声模态的跨维度匹配效果。我们进一步在混合监督学习中嵌入了帧间判别性正则化项,以增加同一超声体积中相邻切片之间的区别,确保配准的稳定性。在重新处理的CAMUS数据集上的实验结果表明,我们的CU-Reg在配准精度和效率方面超过了现有方法,满足了临床心脏介入手术的指导要求。
Jun, 2024
本研究针对心脏超声视频生成中的数据不足问题,提出了一种可解释且可控的方法,利用初始帧和运动曲线引导视频生成。通过提取心脏子结构的运动信息,构建运动曲线,并引入结构到运动的对齐模块和位置感知注意机制,该方法在视频生成的一致性和真实性上优于其他方法,具有重要的临床应用潜力。
Jul, 2024
本研究解决了心脏超声图像分割中数据依赖性的问题,提出了一种仅基于知识蒸馏的方法,使用合成数据进行模型训练。研究发现,该方法在分割性能上接近使用真实数据训练的模型,并在多项比较中表现优于现有方法,展现了无数据学习在医学影像分析中的潜力。
Sep, 2024