基于多模态图学习的疾病预测

Mar, 2022

Multi-modal Graph Learning for Disease Prediction

Shuai Zheng, Zhenfeng Zhu, Zhizhe Liu, Zhenyu Guo, Yang Liu...

TL;DR本研究提出了一种多模态图学习框架（MMGL）来预测疾病，该框架对每种模式的特征进行聚合，通过自适应图学习来捕获患者之间的内在联系，并在两个疾病预测任务上获得了更好的性能。

Abstract

Benefiting from the powerful expressive capability of graphs, graph-based approaches have been popularly applied to handle multi-modal medical data and achieved impressive performance in various biomedical applications. For disease prediction tasks, most existing graph-based methods te

graph-based approaches multi-modal medical data disease prediction modality-aware representation learning adaptive graph learning

发现论文，激发创造

UMLS 知识图谱上的多模态图学习

机器学习在医生对病人的发展趋势获得洞察力方面受到越来越多的关注。我们提出了一种名为多模态 UMLS 图神经网络学习（MMUGL）的新方法，用于使用基于统一医学语言系统的知识图上的图神经网络学习医学概念的有意义的表示。这些表示被聚合表示整个病人就诊情况，然后输入到序列模型中以在病人的多次医院就诊的粒度上进行预测。我们通过整合先前的医学知识并考虑多种模态来提高性能。我们将我们的方法与用于不同粒度上学习表示的现有架构在 MIMIC-III 数据集上进行比较，并展示出我们的方法优于这些方法。结果表明了基于先前的医学知识的多模态医学概念表示的重要性。

Jul, 2023

多模态图学习的生成任务

多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

Oct, 2023

自闭症预测和生物标志物发现的多模态多核图学习

通过提出 MMKGL（Multi-modal Multi-Kernel Graph Learning）来解决多模态图学习的问题，利用该方法提取多模态图中的异质信息，基于 Autism Brain Imaging Data Exchange (ABIDE) 数据集进行评估并识别与自闭症相关的脑区。

Mar, 2023

MM-GTUNets：面向脑部疾病预测的统一多模态图深度学习

本研究提出了 MM-GTUNets，一种基于图变换器的多模态图深度学习（MMGDL）框架，用于大规模脑疾病预测，并通过验证在 ABIDE 和 ADHD-200 两个公共多模态数据集上证明了其优越性能。

Jun, 2024

多模态图学习：一项调查

多模态图学习的比较分析，阐明不同图类型的多模态学习方式，探索主要学习技术的特点，以及多模态图学习的重要应用和未来方向。

Feb, 2024

多模图学习应用于大数据下新兴疫情建模

通过融合时间图神经网络和多模态数据，我们提出了一种名为 MGL4MEP 的新型框架，用于学习和预测流行病，通过利用特定的预训练语言模型和发现用户之间的潜在图结构，将大数据源（包括社交媒体内容）整合到流行病动态学习中，从而提供丰富的流行病动态指标。广泛的实验证明了我们框架在流行病预测和分析方面的有效性，相对于基准方法，在不同领域、流行病情况和预测时段上表现出色。时间图学习和多模态数据的融合使我们能够以更少的时间滞后、更便宜的成本和更多的潜在信息指标全面了解流行病景观。

Oct, 2023

异构图学习在多模式医学数据分析中的应用

我们介绍一种名为 HetMed 的图形框架，可以将多模态医疗数据融合在一起，这通过构造一个多重网络来实现，该网络涵盖患者的多种非图像特征，以系统的方式捕捉患者之间的复杂关系，从而实现更准确的临床决策，并在各种实际数据集上证明了 HetMed 的优越性和实用性。

Nov, 2022

MMGA：基于图形对齐的多模式学习

本文提出了一个新的多模态预训练框架 MMGA，它能在社交媒体上整合图形、图像和文本模态的信息来增强用户表示学习。通过多步骤的图形对齐机制，将自监督信息注入到图像和文本编码器的优化中，同时使用图像和文本模态的信息来指导图形编码器学习。实验结果表明，该模型在 Instagram 数据集上表现良好，能提高粉丝预测任务的性能；同时，我们也公开了包含 60,000 个用户、基于 200 万帖子标注的第一个图形多模态数据集，以便于未来的研究。

Oct, 2022

多模态单细胞数据集成的图神经网络

本文介绍了一种名为 scMoGNN 的图神经网络框架，用于多模态单细胞技术数据的模态预测，模态匹配和联合嵌入，取得了 SOTA 的成果，并在 NeurIPS 2021 竞赛中获胜，所有实现都已整合到 DANCE 软件包中。

Mar, 2022

多模态图基准

多模态图学习基准 (MM-GRAPH) 是首个综合多模态图基准，涵盖文本和视觉信息，旨在促进多模态图学习研究并推动更先进、更稳健的图学习算法的发展。

Jun, 2024