Jun, 2024

MM-GTUNets：面向脑部疾病预测的统一多模态图深度学习

PDF
TL;DR本研究提出了 MM-GTUNets，一种基于图变换器的多模态图深度学习（MMGDL）框架，用于大规模脑疾病预测，并通过验证在 ABIDE 和 ADHD-200 两个公共多模态数据集上证明了其优越性能。
graph deep learningpopulation-based brain disordersmulti-modal graph deep learningmodality reward representation learningadaptive cross-modal graph learning
发现论文，激发创造
  • 基于多模态图学习的疾病预测

    本研究提出了一种多模态图学习框架（MMGL）来预测疾病，该框架对每种模式的特征进行聚合，通过自适应图学习来捕获患者之间的内在联系，并在两个疾病预测任务上获得了更好的性能。

    Mar, 2022

  • 自闭症预测和生物标志物发现的多模态多核图学习

    通过提出 MMKGL（Multi-modal Multi-Kernel Graph Learning）来解决多模态图学习的问题，利用该方法提取多模态图中的异质信息，基于 Autism Brain Imaging Data Exchange (ABIDE) 数据集进行评估并识别与自闭症相关的脑区。

    Mar, 2023

  • 用于从 sMRI 和 PET 扫描早期诊断阿尔茨海默病的多模态图神经网络

    采用深度学习模型结合多模态数据进行阿尔茨海默病的早期诊断，通过图神经网络框架将结构和功能融合，提高诊断效果。

    Jul, 2023

  • UMLS 知识图谱上的多模态图学习

    机器学习在医生对病人的发展趋势获得洞察力方面受到越来越多的关注。我们提出了一种名为多模态 UMLS 图神经网络学习（MMUGL）的新方法，用于使用基于统一医学语言系统的知识图上的图神经网络学习医学概念的有意义的表示。这些表示被聚合表示整个病人就诊情况，然后输入到序列模型中以在病人的多次医院就诊的粒度上进行预测。我们通过整合先前的医学知识并考虑多种模态来提高性能。我们将我们的方法与用于不同粒度上学习表示的现有架构在 MIMIC-III 数据集上进行比较，并展示出我们的方法优于这些方法。结果表明了基于先前的医学知识的多模态医学概念表示的重要性。

    Jul, 2023

  • 脑全景影像转录组学数据增强的可信多视角多模态阿尔茨海默病预测

    通过大脑转录组学，我们提出使用信任的多视图多模态图注意力框架 (TMM) 进行阿尔茨海默病 (AD) 诊断，结合了脑的全面转录组和成像数据，并采用图注意力 (GAT) 处理和交叉模态注意力来融合转录组和成像导出的嵌入，使用真假融合的类别概率 (TFCP) 策略来评估和自适应调整各模态在 AD 诊断中的预测置信度。

    Jun, 2024

  • 复杂脑部疾病预测的不完整多模态学习

    本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

    May, 2023

  • 多模态图学习的生成任务

    多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

    Oct, 2023

  • 多模态机器学习结合面部图像和临床文本，提供罕见遗传疾病的诊断

    使用多模态机器学习方法，结合罕见遗传病的面部特征和人工智能算法，可以缩小罕见疾病的基因诊断范围并帮助基因组 / 外显子测序数据重解释。

    Dec, 2023

  • 利用图神经网络对脑结构和功能网络进行联合嵌入进行精神疾病诊断

    我们提出了一种基于多视图 GNN 和对比学习的方法，用于对多模态脑网络进行分析，并通过在两个现实疾病数据集上的实验证明了该方法的有效性。

    Jul, 2021

  • MMGA：基于图形对齐的多模式学习

    本文提出了一个新的多模态预训练框架 MMGA，它能在社交媒体上整合图形、图像和文本模态的信息来增强用户表示学习。通过多步骤的图形对齐机制，将自监督信息注入到图像和文本编码器的优化中，同时使用图像和文本模态的信息来指导图形编码器学习。实验结果表明，该模型在 Instagram 数据集上表现良好，能提高粉丝预测任务的性能；同时，我们也公开了包含 60,000 个用户、基于 200 万帖子标注的第一个图形多模态数据集，以便于未来的研究。

    Oct, 2022