ICMLJul, 2023

MaxCorrMGNN：用于广义多模态融合医学数据的多图神经网络框架进行结果预测

PDF
TL;DR本文提出了一种称为 MaxCorr MGNN 的创新融合方法，旨在通过 Hirschfeld-Gebelein-Renyi 最大相关性嵌入来建模跨患者内部和之间的非线性模式相关性，从而得出一个多层图模型，从而有效地预测结局。通过设计一种广义的多层图神经网络（MGNN），实现患者模式图的功能驱动推理和端到端的信息传递。我们在肺结核数据集上进行了实验，并始终优于几种最先进的神经网络，基于图的，传统的融合技术。
multimodal electronic health recordsmaximal correlation embeddingsmulti-layered graph neural networktask-informed reasoningoutcome prediction
发现论文，激发创造
  • 基于多任务相关学习的多模态融合框架在癌症预测中的应用

    基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

    Jan, 2022

  • 基于多模态图学习的疾病预测

    本研究提出了一种多模态图学习框架（MMGL）来预测疾病，该框架对每种模式的特征进行聚合，通过自适应图学习来捕获患者之间的内在联系，并在两个疾病预测任务上获得了更好的性能。

    Mar, 2022

  • 基于嵌入式多模式学习的全面鳞癌的生存结果改善

    用于患者生存预测的基于多模态数据的图神经网络框架 PARADIGM 优于其他模型，通过整合多种数据视角，提供全面的疾病认知。

    Jun, 2024

  • MM-GTUNets：面向脑部疾病预测的统一多模态图深度学习

    本研究提出了 MM-GTUNets，一种基于图变换器的多模态图深度学习（MMGDL）框架，用于大规模脑疾病预测，并通过验证在 ABIDE 和 ADHD-200 两个公共多模态数据集上证明了其优越性能。

    Jun, 2024

  • 多模态单细胞数据集成的图神经网络

    本文介绍了一种名为 scMoGNN 的图神经网络框架，用于多模态单细胞技术数据的模态预测，模态匹配和联合嵌入，取得了 SOTA 的成果，并在 NeurIPS 2021 竞赛中获胜，所有实现都已整合到 DANCE 软件包中。

    Mar, 2022

  • 异构图学习在多模式医学数据分析中的应用

    我们介绍一种名为 HetMed 的图形框架，可以将多模态医疗数据融合在一起，这通过构造一个多重网络来实现，该网络涵盖患者的多种非图像特征，以系统的方式捕捉患者之间的复杂关系，从而实现更准确的临床决策，并在各种实际数据集上证明了 HetMed 的优越性和实用性。

    Nov, 2022

  • 多模态时空图神经网络在 30 天全因素住院再入院预测中的应用

    本研究提出的多模态、模态不可知时空图神经网络（MM-STGNN）结合了多模态病人纵向数据，用于预测 30 天内入院后出现的所有原因再次入院风险，并在两个独立中心的电子健康记录和胸部 X 光数据集中证明其预测效果优于现有的临床参考标准 LACE + 分数。

    Apr, 2022

  • UMLS 知识图谱上的多模态图学习

    机器学习在医生对病人的发展趋势获得洞察力方面受到越来越多的关注。我们提出了一种名为多模态 UMLS 图神经网络学习（MMUGL）的新方法，用于使用基于统一医学语言系统的知识图上的图神经网络学习医学概念的有意义的表示。这些表示被聚合表示整个病人就诊情况，然后输入到序列模型中以在病人的多次医院就诊的粒度上进行预测。我们通过整合先前的医学知识并考虑多种模态来提高性能。我们将我们的方法与用于不同粒度上学习表示的现有架构在 MIMIC-III 数据集上进行比较，并展示出我们的方法优于这些方法。结果表明了基于先前的医学知识的多模态医学概念表示的重要性。

    Jul, 2023

  • 口咽癌患者预测结果的图数据建模

    本文首次提出了病患超图网络（PHGN），并在感染舌咽癌（OPC）患者的计算机断层扫描（CT）辐射组学特征上进行了针对二分类和时间分析的研究，与图神经网络和基准线性模型进行了比较。

    Oct, 2023

  • 层次网络多粒度融合的跨模态相关学习

    本文提出了一种跨模态相关学习方法，通过层级网络的多粒度融合实现多级别关联，在保留内 - 外模态互补上下文的同时，采用多任务学习策略平衡内 - 外模态的约束，成功地将粗细模型进行融合以实现精确的跨模态相关性，实验结果表明我们的方法在多个数据集上表现出色。

    Apr, 2017