UMLS 知识图谱上的多模态图学习

Jul, 2023

Multi-modal Graph Learning over UMLS Knowledge Graphs

Manuel Burger, Gunnar Rätsch, Rita Kuznetsova

TL;DR机器学习在医生对病人的发展趋势获得洞察力方面受到越来越多的关注。我们提出了一种名为多模态 UMLS 图神经网络学习（MMUGL）的新方法，用于使用基于统一医学语言系统的知识图上的图神经网络学习医学概念的有意义的表示。这些表示被聚合表示整个病人就诊情况，然后输入到序列模型中以在病人的多次医院就诊的粒度上进行预测。我们通过整合先前的医学知识并考虑多种模态来提高性能。我们将我们的方法与用于不同粒度上学习表示的现有架构在 MIMIC-III 数据集上进行比较，并展示出我们的方法优于这些方法。结果表明了基于先前的医学知识的多模态医学概念表示的重要性。

Abstract

Clinicians are increasingly looking towards machine learning to gain insights about patient evolutions. We propose a novel approach named Multi-Modal UMLS Graph Learning (MMUGL) for learning meaningful representations of medical concepts using graph neural networks over →

machine learning multi-modal umls graph learning medical concepts knowledge graphs patient visits

发现论文，激发创造

基于多模态图学习的疾病预测

本研究提出了一种多模态图学习框架（MMGL）来预测疾病，该框架对每种模式的特征进行聚合，通过自适应图学习来捕获患者之间的内在联系，并在两个疾病预测任务上获得了更好的性能。

Mar, 2022

多模态图学习：一项调查

多模态图学习的比较分析，阐明不同图类型的多模态学习方式，探索主要学习技术的特点，以及多模态图学习的重要应用和未来方向。

Feb, 2024

多模态知识图谱下的多模态推理

提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。

Jun, 2024

多模态图学习的生成任务

多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

Oct, 2023

统一建模增强的精准神经肿瘤多模态学习

通过使用一种层次化注意结构，我们介绍了一种统一建模增强多模态学习（UMEML）框架，该框架整合了组织学图像和基因组学，以在显微镜级别和分子级别上实现对肿瘤的精确治疗，并通过利用两种模态的共享和互补特征有效地进行建模。

Jun, 2024

知识图谱应用于多模态学习：综述

本综述对 300 篇以上的文章进行了仔细审查，重点关注了两个主要方面的知识图谱 (KG) 相关研究，即 KG 驱动的多模式学习和多模式知识图谱 (MMKG)，通过定义 KG 和 MMKG，探讨了它们的构建进展，以及 KG 驱动的多模式学习任务和 MMKG 任务，为相关研究提供了定义、评估基准和关键见解，最后讨论了当前的挑战和新兴趋势，如大型语言模型和多模式预训练策略的进展。本综述旨在作为 KG 和多模式学习研究领域的全面参考，为已经参与或考虑进行 KG 和多模式学习研究的研究人员提供洞察力，支持未来的工作。

Feb, 2024

自闭症预测和生物标志物发现的多模态多核图学习

通过提出 MMKGL（Multi-modal Multi-Kernel Graph Learning）来解决多模态图学习的问题，利用该方法提取多模态图中的异质信息，基于 Autism Brain Imaging Data Exchange (ABIDE) 数据集进行评估并识别与自闭症相关的脑区。

Mar, 2023

多模态知识图谱构建和应用：综述

该研究论文介绍了多模态知识图谱，探讨了构建及应用过程中的挑战和进步，并分析了不同解决方案的优缺点及与 MMKG 相关的未解决研究问题。

Feb, 2022

MuSe-GNN：从多模态生物图数据中学习统一的基因表示

在这项研究中，我们通过引入一种名为多模态相似性学习图神经网络的新型模型，结合多模态机器学习和深度图神经网络，从单细胞测序和空间转录组学数据中学习基因表示，以解决在不同生物医学环境中发现具有类似功能的基因的挑战。我们的模型通过为模型训练和基因表示生成创建信息丰富的图结构，并结合加权相似性学习和对比学习的正则化，学习跨数据的基因 - 基因关系，从而确保我们能够提供包含功能相似性的基因表示。广泛的基准测试分析显示，我们的模型能够有效地捕捉多种模态下的基因功能相似性，其基因表示学习的性能超过当前最先进方法高达 97.5％。此外，我们将生物信息学工具与基因表示结合使用，揭示通路富集、调控因果网络和与疾病相关或剂量敏感的基因功能。因此，我们的模型能够高效产生用于分析基因功能、组织功能、疾病和物种演化的统一基因表示。

Sep, 2023

多模态图神经网络用于视觉场景联合推理

利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

Mar, 2020