通过构建可理解的变量和包含高级因果发现技术的自动学习任务级因果关系，HG-SCM 可以模拟人类感知和决策过程。在实证数据集上与七种基线模型进行比较后，HG-SCM 取得了最高的平均性能排名和最小的标准差，充分证明了其在预测能力和推广性方面的有效性和优越性，并且所自动学习的三个任务的因果图可视化和分析与领域知识和人类认知相吻合，展示出了其卓越的可解释性。HG-SCM 的类人特性以及增强的推广性和可解释性使其成为在透明度和可信度至关重要的特殊场景中具有潜力的解决方案。

Dec, 2023

本论文提出了一种新型的基于图的多模态融合编码器，用于多模态神经机器翻译（NMT）中利用不同模态语义单元之间的细粒度语义对应关系，以优化多模态表示学习，并在 Multi30K 数据集上验证了模型的卓越性能。

Jul, 2020

我们提出了图结构引导的多模态预训练变换器（SGMPT）用于知识图谱推理，它采用图结构编码器来进行结构特征编码，并采用加权求和和对齐约束两种不同策略的结构引导融合模块，将结构信息注入文本和视觉特征，实验证明了 SGMPT 在多模态 KGR 方面的效果优于现有的最先进模型。

Jul, 2023

利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

Mar, 2020

本文提出了 MR-GNN，这是一种具有多分辨率结构的图神经网络，能够从不同尺度的数据邻域中提取特征以及提取成对图之间的交互特征，相较于现有方法，显示出更好的预测效果。

May, 2019

通过实验分析，我们探索将图结构作为整体像节点一样进行学习的可行性，并基于我们的发现，提出了一种基于图粗化的多视图图结构表示学习模型（MSLgo）来进行图分类。我们通过层次启发式图粗化压缩循环和团，并通过精心设计的约束进行限制，从而构建了粗化视图以学习结构之间的高级交互。我们还引入线图来进行边嵌入，切换到以边为中心的视角构建转换视图。通过对六个真实数据集的实验，证明了 MSLgo 在多种架构上超过了 14 个基线的改进。

Apr, 2024

本文介绍了一种名为 scMoGNN 的图神经网络框架，用于多模态单细胞技术数据的模态预测，模态匹配和联合嵌入，取得了 SOTA 的成果，并在 NeurIPS 2021 竞赛中获胜，所有实现都已整合到 DANCE 软件包中。

Mar, 2022

在自然语言理解领域中，神经模型和图形意义表达（GMR）的交叉点仍然是一个引人注目的研究领域。本文通过引入 DAGNN-plus，一种简单且参数高效的神经架构，将上下文表示学习与结构信息传播解耦，从而填补 GMR 的确切影响的空白。通过与各种序列编码器和 GMRs 配对，该架构为英文和中文的两个数据集上进行系统实验提供了基础。实证分析使用了四种不同的图形形式和九个解析器。结果对 GMRs 的理解提供了细致入微的认识，显示出四个数据集中有三个的改进，特别是依靠高度准确的解析器的英文比中文更受青睐。有趣的是，与一般领域数据集相比，GMRs 对文学领域数据集的有效性较低。这些发现为更加明智地设计 GMRs 和解析器以提高关系分类奠定了基础，预计对自然语言理解研究的未来发展产生实质性影响。

Oct, 2023

本文研究了基于图卷积网络的多模态机器学习模型，通过引入多模态互动机制，去增强多模态协调表示的学习能力，从而在预测准确性、训练效率、可解释性和模型鲁棒性等方面，优于现有的基准模型。

May, 2019

本研究介绍了一种使用多模态线索（如分子结构）帮助模型学习实体（蛋白质）的多组学生物信息的新颖框架，以图形为基础的多模态学习机制利用 GraphBERT 模型编码了文本和分子结构信息，并利用不同模态的基础特征进行端到端的学习。在生物医学领域的蛋白质相互作用任务中，我们的提出的广义方法发现受到了领域特定模态的额外获益。

Jul, 2021