Dec, 2023

联合自监督和有监督对比学习用于多模态 MRI 数据：走向预测异常神经发育

PDF
TL;DR利用多模态成像、深度学习和对比学习方法，从多模态 MRI 数据中学习鲁棒的潜在特征表示，将异构特征投影到共享空间，整合不同模态和类似主体间的互补和类似信息，进而提高了异常神经发育的预测能力和计算机辅助诊断的功效。
multimodal imagingdeep learningcontrastive learningneurodevelopmentcomputer-aided diagnosis
发现论文，激发创造
  • 自我监督多模态全身医学影像对齐

    本文探讨在医学成像中使用自监督深度学习的应用，特别是在存在两种扫描模式的同一主体的情况下。通过使用来自英国生物库的超过 20,000 个主体的完整身体迪克森技术磁共振（MR）扫描和双能 X 射线吸收计量（DXA）扫描的大型公开数据集，作者提出了一种针对多模式图像匹配对比框架，并且可以在没有监督的情况下执行自动跨模式扫描配准。最后，作者使用这些配准将 DXA 扫描的分割图传输到 MR 扫描中，在不需要地面真实 MR 样本的情况下，训练可以分割解剖区域的网络。

    Jul, 2021

  • 医学图像分析的多模态自监督学习

    该论文提出了一种利用多个成像模式的新型自监督方法，设计了一个多模式拼图任务以促进多种图像模式的特征表征，提出了一种利用跨模态生成技术进行多模态数据增强的方法，实验表明该方法能够提高数据效率和语义表征，广泛应用于四种不同的下游任务，并取得了领先的成果。

    Dec, 2019

  • 复杂脑部疾病预测的不完整多模态学习

    本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

    May, 2023

  • 通过投影网络对具有异构维度的数据进行深度多模态融合

    本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

    Feb, 2024

  • 自监督超声到 MRI 胎儿脑部图像合成

    本文提出了一种基于超声图像合成类似磁共振图像的方法，该方法自监督、端到端可训练，并利用交叉模式关注和对抗性学习等技术，成功生成了逼真的胎儿 MRI 图像。

    Aug, 2020

  • MRI 脑肿瘤分级的双重注意力型、跨模态引导多模态学习

    通过 MRI 多模态学习和跨模态指导，提出了一种用于 MRI 脑肿瘤分级的新方法，以准确识别肿瘤类型和等级，并选择精确的治疗计划。

    Jan, 2024

  • 双剑合璧：表格数据和图像数据的多模态对比学习

    该研究介绍了一种结合 SimCLR 和 SCARF 的自监督对比学习框架，使用心脏 MR 图像和 120 项临床特征预测冠状动脉疾病风险，并展示了标签作为特征的监督式对比学习的性能。

    Mar, 2023

  • 使用弱监督联合卷积稀疏编码进行三维医学图像的同时超分辨率和跨模态合成

    该论文提出了一种利用少量已注册的多模态图像对进行弱监督联合稀疏编码，从低分辨率单模态图像中生成高分辨率多模态图像的方法，并通过最大均值偏差项结合未配对数据来提高联合字典的学习质量，本文实验证明，该方法在超分辨率重建和同时进行超分辨率和跨模态综合方面优于现有技术。

    May, 2017

  • 多模态语义分割的自监督模型适应

    提出了一种自适应动态融合多模态语义分割框架，采用自监督模型的融合机制来优化融合多模态特征，在物体类别、空间位置和场景上下文方面增强鲁棒性，同时提出了一种计算高效的 AdapNet ++ 单模分割体系结构，并获得了最新的性能。

    Aug, 2018

  • 医学图像和报告之间的无监督多模态表示学习

    该研究旨在探索多模态联合嵌入并生成医学影像模态和相关放射学报告，并通过受监督和无监督学习的方式，实现在文档检索任务中的表现，发现只需有限的监督即可获得与完全监督方法类似的结果。

    Nov, 2018