我们提出了一种多模态的消息传递网络，不仅能够从图的结构中学习端到端信息，还能从其中多样的多模态节点特征中学习，包括数字、文本、日期、图像和几何形状，通过在一个联合表示空间中投影到它们的关系信息。通过在人工和真实数据集上进行节点分类和链接预测的实验，我们发现任意知识图的端到端多模态学习是可能的，并且包含多模态信息可以显著影响性能，但这很大程度上取决于数据的特征。

Sep, 2023

机器学习在医生对病人的发展趋势获得洞察力方面受到越来越多的关注。我们提出了一种名为多模态 UMLS 图神经网络学习（MMUGL）的新方法，用于使用基于统一医学语言系统的知识图上的图神经网络学习医学概念的有意义的表示。这些表示被聚合表示整个病人就诊情况，然后输入到序列模型中以在病人的多次医院就诊的粒度上进行预测。我们通过整合先前的医学知识并考虑多种模态来提高性能。我们将我们的方法与用于不同粒度上学习表示的现有架构在 MIMIC-III 数据集上进行比较，并展示出我们的方法优于这些方法。结果表明了基于先前的医学知识的多模态医学概念表示的重要性。

Jul, 2023

本研究提出了一种多模态图学习框架（MMGL）来预测疾病，该框架对每种模式的特征进行聚合，通过自适应图学习来捕获患者之间的内在联系，并在两个疾病预测任务上获得了更好的性能。

Mar, 2022

本研究提出了一种多模态关系抽取方法，通过检索对象、句子和整个图像的文本和视觉证据，综合考虑了同一和不同模态之间的信息，从而比现有的方法更准确地识别语义关系并显著提高了效果。

May, 2023

多模态图学习的比较分析，阐明不同图类型的多模态学习方式，探索主要学习技术的特点，以及多模态图学习的重要应用和未来方向。

Feb, 2024

本文介绍了一种多模式图形学习的蓝图，该模型通过将不同模态的数据集组合成图形，并使用图形来利用跨模态的依赖关系，同时利用图形作为指导提供了图形学习方法的设计方案和指导，以解决在多模态数据集中学习的基本挑战。

Sep, 2022

提出了一种多模态消息传递网络，在结构化的知识图谱中处理来自多种标记类型的节点特征，以提高节点分类任务的性能。

Mar, 2020

本研究提出了一种深度学习方法，利用单词级和句子级表示同时提取治疗和问题之间的关系，以用于医疗决策支持系统、安全监测和新治疗发现。通过深度学习和基于规则的模型的联合结果获得了最终的关联关系。该系统在 I2b2 2010 关系提取任务的关系类别上取得了有前途的表现。

Jun, 2018

本研究提出了多模态事件关系的新任务，并开发了一个大规模数据集和一种基于外部知识库的弱监督多模态方法，为人工智能系统实现媒体理解和跨媒体事件关系建立提供了支持。

Jun, 2022

本研究旨在构建一个知识图谱以研究阿尔茨海默病（AD）与化学物质、药物和膳食补充剂之间的关系，从而识别预防或延缓神经退行性进展的机会，结果表明我们的图形挖掘模型可以预测 AD 和其他实体之间的可靠新关系。

Feb, 2022