多模态配准的深度度量
通过近似现有指标与小型卷积神经网络的特征空间中的点积,我们提出了一个通用框架,用于创建具有表达性的跨模态描述符,从而实现了快速可变形全局注册。我们的方法比基于局部图像块的指标快几个数量级,并且可以直接应用于临床环境中,只需用所提出的指标替换相似度测量。实验表明,我们的方法在训练数据之外也具有很好的泛化性,即使在未知的解剖学和模态组合上也有着广泛的适应能力,无需进行专门的重新训练。我们公开了我们的训练代码和数据。
Jul, 2023
本文提出了一种基于无监督深度学习的多模态图像配准方法,该方法利用图像梯度幅度来作为辅助信息,通过三种不同的损失函数比较证明该方法能提升多模态配准的准确性且运行时间不受影响。
Feb, 2022
本文提出了一种基于卷积神经网络的方法,借助高水平结构对应信息(即解剖标记)推测像素变化,从而实现多模态图像对齐。结果表明,该方法具有广泛的适用性,可在训练过程中利用各种不同类型的解剖标记,并能实现实时自动化、无需标记或初始化的三维图像对齐。
Jul, 2018
本文研究基于先前的相似度度量方法是否适用于图像配准的问题,探究在多模态 3D 环境下,通过选择基本求和作为度量优化手段是否能够提高 MRI 图像配准的准确性。通过 2 个预先和手术中的胶质母细胞瘤病例,依据神经放射科医生的地标标记,证明了本文提出的优化方法对图像配准精度提升的效果。
Apr, 2023
通过使用随机卷积来学习图像的固有几何结构,并依靠 Modality Agnostic Distance (MAD) 作为深度图像距离测度,我们展示了 MAD 不仅能够成功地进行多模态图像仿射配准,而且还具有比传统测度(如互信息和归一化梯度场)更大的拍摄范围。
Sep, 2023
本文提出了 CDMLMR 方法,该方法以多任务正则化的方式融合四元组排名损失和半监督对比损失,用于建模跨模态语义相似性;与现有方法相比,该方法不仅利用了相似性排名信息,还利用了未标记的跨模态数据,从而提高了跨模态检索准确性。
Mar, 2017
基于多模态医学图像分析研究和图像引导放疗,本文提出了一种自主模态结构表示学习方法,利用深度邻域自相似性和解剖感知对比学习,以学习具有辨别性和对比不变性的深度结构图像表示,无需解剖规划或预先对齐训练图像,通过对多相 CT、腹部 MR-CT 和脑部 MR T1w-T2w 进行评估,全面结果表明,相对于传统的局部结构表示和基于统计的相似性度量,所提出的方法在辨别性和准确性上更出色。
Feb, 2024
磁共振成像(MRI)的临床决策制定结合了多个 MRI 序列(定义为 “模态”)的补充信息。MRI 图像配准旨在几何地 “匹配” 来自不同模态、时间点和切片的诊断。无监督的多模态和多器官图像配准深度学习方法中,我们将基于 Grad-CAM 的可解释性框架纳入每个主要组成部分。我们的 DL 模型变得完全可解释,为将我们的方法推广到进一步的医学成像数据奠定了框架。
Aug, 2023