自我监督多模态全身医学影像对齐

Jul, 2021

自我监督多模态全身医学影像对齐

Self-Supervised Multi-Modal Alignment for Whole Body Medical Imaging

Rhydian Windsor, Amir Jamaludin, Timor Kadir, Andrew Zisserman

TL;DR本文探讨在医学成像中使用自监督深度学习的应用，特别是在存在两种扫描模式的同一主体的情况下。通过使用来自英国生物库的超过 20,000 个主体的完整身体迪克森技术磁共振（MR）扫描和双能 X 射线吸收计量（DXA）扫描的大型公开数据集，作者提出了一种针对多模式图像匹配对比框架，并且可以在没有监督的情况下执行自动跨模式扫描配准。最后，作者使用这些配准将 DXA 扫描的分割图传输到 MR 扫描中，在不需要地面真实 MR 样本的情况下，训练可以分割解剖区域的网络。

Abstract

This paper explores the use of self-supervised deep learning in medical imaging in cases where two scan modalities are available for the same subject. Specifically, we use a large publicly-available dataset of over 20,000 subjects from the UK Biobank with both whole body Dixon technique magnetic resonance (MR) scans and also dual-energy x-ray absorptiometry

self-supervised learning medical imaging multi-modal image matching cross-modal scan registration segmentation

发现论文，激发创造

联合自监督和有监督对比学习用于多模态 MRI 数据：走向预测异常神经发育

利用多模态成像、深度学习和对比学习方法，从多模态 MRI 数据中学习鲁棒的潜在特征表示，将异构特征投影到共享空间，整合不同模态和类似主体间的互补和类似信息，进而提高了异常神经发育的预测能力和计算机辅助诊断的功效。

Dec, 2023

形变多模态图像配准用于光学测量与组织学图像的相关性

利用深度学习技术，通过自动多模式图像配准方法，将快照乳房标本图像与对应的组织学图像进行对齐，以提高光学技术验证的准确性。

Nov, 2023

病变定位的多模态自监督学习

利用图像和诊断报告的多模态深度学习在医学影像诊断领域取得了显著进展，尤其在缺乏足够注释信息的辅助诊断方面具有强大的能力，然而，没有详细位置注释的准确定位疾病仍然是一个挑战，现有的方法已尝试利用局部信息实现细粒度语义对齐，但其在提取综合上下文内的细粒度语义能力有限，为解决这一问题，我们提出了一种新的方法，将文本报告中的完整句子作为局部语义对齐的基本单元，我们的方法结合了胸部 X 射线图像和相应的文本报告，在全局和局部层面进行对比学习，我们的方法在多个数据集上取得的领先结果证实了其在病灶定位任务中的有效性。

Jan, 2024

深度网络解释性非监督多模态图像配准

磁共振成像（MRI）的临床决策制定结合了多个 MRI 序列（定义为 “模态”）的补充信息。MRI 图像配准旨在几何地 “匹配” 来自不同模态、时间点和切片的诊断。无监督的多模态和多器官图像配准深度学习方法中，我们将基于 Grad-CAM 的可解释性框架纳入每个主要组成部分。我们的 DL 模型变得完全可解释，为将我们的方法推广到进一步的医学成像数据奠定了框架。

Aug, 2023

自我监督的多模态注意力融合下的三维患者建模

通过提出一种通用模块化的三维患者建模方法，即多模式关键点检测模块与自监督三维网格回归模块的结合，在实际临床场景中实现了改善关键点定位的稳健性和概括性，并取得了优越的患者定位性能。

Mar, 2024

基于标签驱动的弱监督学习用于多模态变形图像配准

采用标签驱动式表达，利用卷积神经网络的密集位移场，通过最小化变形移动标签和固定标签的交叉熵函数，使医学图像的标志物在不同模态之间匹配，改进了医学图像的对齐性。

Nov, 2017

多模态图像配准的弱监督卷积神经网络

本文提出了一种基于卷积神经网络的方法，借助高水平结构对应信息（即解剖标记）推测像素变化，从而实现多模态图像对齐。结果表明，该方法具有广泛的适用性，可在训练过程中利用各种不同类型的解剖标记，并能实现实时自动化、无需标记或初始化的三维图像对齐。

Jul, 2018

医学图像分析的多模态自监督学习

该论文提出了一种利用多个成像模式的新型自监督方法，设计了一个多模式拼图任务以促进多种图像模式的特征表征，提出了一种利用跨模态生成技术进行多模态数据增强的方法，实验表明该方法能够提高数据效率和语义表征，广泛应用于四种不同的下游任务，并取得了领先的成果。

Dec, 2019

脊柱 MRI 的自监督学习

本论文提出利用临床中的长期扫描数据进行自我监督学习的方法，使用连续的 MRI 扫描数据进行预训练的 Siamese 卷积神经网络，同时使用对比损失和分类损失对其进行训练，并在椎间盘退变的分类任务上证明其优于从头开始训练的网络，并且需要更少的标注数据。

Aug, 2017

模态无关的结构化图像表示学习用于可变形多模态医学图像配准

基于多模态医学图像分析研究和图像引导放疗，本文提出了一种自主模态结构表示学习方法，利用深度邻域自相似性和解剖感知对比学习，以学习具有辨别性和对比不变性的深度结构图像表示，无需解剖规划或预先对齐训练图像，通过对多相 CT、腹部 MR-CT 和脑部 MR T1w-T2w 进行评估，全面结果表明，相对于传统的局部结构表示和基于统计的相似性度量，所提出的方法在辨别性和准确性上更出色。

Feb, 2024