本文研究了神经影像数据中的一次性联合提取、配准和分割问题，提出了一种统一的端到端框架 JERS，它利用一个标记的模板图像和一些未标记的原始图像进行训练，通过自监督相互增强来优化提取、配准和分割任务。实证结果表明，我们提出的方法在提取、配准和分割任务中表现出色。

Jul, 2023

本文提出了一种基于无监督深度学习的多模态图像配准方法，该方法利用图像梯度幅度来作为辅助信息，通过三种不同的损失函数比较证明该方法能提升多模态配准的准确性且运行时间不受影响。

Feb, 2022

磁共振成像（MRI）的临床决策制定结合了多个 MRI 序列（定义为 “模态”）的补充信息。MRI 图像配准旨在几何地 “匹配” 来自不同模态、时间点和切片的诊断。无监督的多模态和多器官图像配准深度学习方法中，我们将基于 Grad-CAM 的可解释性框架纳入每个主要组成部分。我们的 DL 模型变得完全可解释，为将我们的方法推广到进一步的医学成像数据奠定了框架。

Aug, 2023

本文提出了一种无监督深度学习配准方法，采用双向交叉模态图像合成提高正逆一致性，实现了跨不同 MRI 模态、时间和层面的解剖学变换，获得了优于基准方法的多模态脑部 2D 和 3D MRI 以及单模态心脏 4D MRI 数据实验结果。

Mar, 2022

提出一种新颖的基于翻译的无监督可变形图像配准方法，该方法利用双流方式调节变形场以实现更好的配准性能，并使用计算效率高的相似度度量对多模态配准网络进行有效训练，并在两个临床数据集上验证了其优越性能。

Jul, 2020

近年来，语言和文本到图像模型的大规模预训练的进步已经革新了机器学习领域。然而，将这两种模态集成到一个能够生成无缝多模态输出的强大模型仍然是一个重大挑战。为了解决这个问题，我们提出了联合自回归混合（JAM）框架，这是一种模块化的方法，系统地融合了现有的文本和图像生成模型。我们还引入了一种专门的、高效的数据调优策略，为混合模态生成任务量身定制。我们最终调优的模型在生成高质量多模态输出方面表现出了无与伦比的性能，并且代表了首个明确设计用于此目的的模型。

Sep, 2023

本文提出了一种基于卷积神经网络的方法，借助高水平结构对应信息（即解剖标记）推测像素变化，从而实现多模态图像对齐。结果表明，该方法具有广泛的适用性，可在训练过程中利用各种不同类型的解剖标记，并能实现实时自动化、无需标记或初始化的三维图像对齐。

Jul, 2018

使用卷积神经网络构建了一种新的相似度度量方法，该方法可以应用于多模态医学图像的配准问题。在跨人注册任务上，该方法实现了比互信息更好的性能。

Sep, 2016

该研究提出了一种使用统计和深度学习方法集成多个来源的横断面和纵向数据、识别相关变量并提供深入生物学见解的流程，并将其应用于炎症性肠病的多组学数据，发现了可区分炎症性肠病状态的微生物通路、代谢物和基因，为炎症性肠病的病因提供了信息。

Dec, 2023

本文提出了一种基于端到端 3D 卷积神经网络的多任务学习系统 JSSR，用于医学图像的多模态图像配准、分割和合成，该方法能够有效捕获高级语义密集对应，优于市场上已有的相关方法。

May, 2020