通过实验分析，我们探索将图结构作为整体像节点一样进行学习的可行性，并基于我们的发现，提出了一种基于图粗化的多视图图结构表示学习模型（MSLgo）来进行图分类。我们通过层次启发式图粗化压缩循环和团，并通过精心设计的约束进行限制，从而构建了粗化视图以学习结构之间的高级交互。我们还引入线图来进行边嵌入，切换到以边为中心的视角构建转换视图。通过对六个真实数据集的实验，证明了 MSLgo 在多种架构上超过了 14 个基线的改进。

Apr, 2024

机器学习在医生对病人的发展趋势获得洞察力方面受到越来越多的关注。我们提出了一种名为多模态 UMLS 图神经网络学习（MMUGL）的新方法，用于使用基于统一医学语言系统的知识图上的图神经网络学习医学概念的有意义的表示。这些表示被聚合表示整个病人就诊情况，然后输入到序列模型中以在病人的多次医院就诊的粒度上进行预测。我们通过整合先前的医学知识并考虑多种模态来提高性能。我们将我们的方法与用于不同粒度上学习表示的现有架构在 MIMIC-III 数据集上进行比较，并展示出我们的方法优于这些方法。结果表明了基于先前的医学知识的多模态医学概念表示的重要性。

Jul, 2023

提出一种神经 SLAM 方法，利用多种模态进行探索，预测可承受意义地图并在其上进行规划，从而显著提高了探索效率，实现了鲁棒的长程规划，使得机器智能能够更有效地识别视觉和语言信息。在 ALFRED 基准测试中，相对先前发表的作品，提出的 Affordance-aware Multimodal Neural SLAM（AMSLAM）方法在成功率上实现了 23.48％的新的最高水平，取得了超过 40％的改进。

Jan, 2022

利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

Mar, 2020

本文提出了一种新型 GCNs 模型：自适应多通道图卷积网络 (AM-GCN)，以更好地融合和提取节点特征和拓扑结构之间的深度相关信息，并在半监督分类任务上取得了明显的精度提升。

Jul, 2020

本文介绍了一种名为 scMoGNN 的图神经网络框架，用于多模态单细胞技术数据的模态预测，模态匹配和联合嵌入，取得了 SOTA 的成果，并在 NeurIPS 2021 竞赛中获胜，所有实现都已整合到 DANCE 软件包中。

Mar, 2022

该研究提出了一种新的语义场景补全框架 - 对抗模态调制网络 (AMMNet)，通过优化梯度更新的方法，解决了单模态特征学习效果不佳和过拟合于有限数据集的两个问题，实验证明 AMMNet 在效果和泛化能力上明显优于最先进的语义场景补全方法。

Mar, 2024

本篇论文主要介绍了一种基于 AMOGCN 的异构图神经网络，该方法可以学习具有区分度的节点嵌入和关系，并能够自动地构建元路径来影响嵌入的质量，从而提高半监督分类性能。

Apr, 2023

多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

Oct, 2023

本文提出了一种自适应多模态学习框架 AdaMML，它使用多模态策略网络在视频识别过程中根据输入选择最佳模态，有效地提高准确性和效率，实验结果表明该方法相比传统基线方法能减少 35%-55% 的计算量，且在准确率方面也取得了一致的提升。

May, 2021