在这项研究中，我们通过引入一种名为多模态相似性学习图神经网络的新型模型，结合多模态机器学习和深度图神经网络，从单细胞测序和空间转录组学数据中学习基因表示，以解决在不同生物医学环境中发现具有类似功能的基因的挑战。我们的模型通过为模型训练和基因表示生成创建信息丰富的图结构，并结合加权相似性学习和对比学习的正则化，学习跨数据的基因 - 基因关系，从而确保我们能够提供包含功能相似性的基因表示。广泛的基准测试分析显示，我们的模型能够有效地捕捉多种模态下的基因功能相似性，其基因表示学习的性能超过当前最先进方法高达 97.5％。此外，我们将生物信息学工具与基因表示结合使用，揭示通路富集、调控因果网络和与疾病相关或剂量敏感的基因功能。因此，我们的模型能够高效产生用于分析基因功能、组织功能、疾病和物种演化的统一基因表示。

Sep, 2023

我们提出了一种名为 Integrative Graph Convolutional Networks (IGCN) 的新型综合神经网络方法，用于多模数据网络，通过为节点嵌入分配注意系数来将多个节点嵌入融合成加权形式，并且实验证明 IGCN 在多个数据领域的基准数据集上优于或与现有的最先进方法相媲美。

Jan, 2024

利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

Mar, 2020

本研究提出了一种多模态图学习框架（MMGL）来预测疾病，该框架对每种模式的特征进行聚合，通过自适应图学习来捕获患者之间的内在联系，并在两个疾病预测任务上获得了更好的性能。

Mar, 2022

用于患者生存预测的基于多模态数据的图神经网络框架 PARADIGM 优于其他模型，通过整合多种数据视角，提供全面的疾病认知。

Jun, 2024

多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

Oct, 2023

本文研究了基于图卷积网络的多模态机器学习模型，通过引入多模态互动机制，去增强多模态协调表示的学习能力，从而在预测准确性、训练效率、可解释性和模型鲁棒性等方面，优于现有的基准模型。

May, 2019

通过多模态情感识别，我们提出了一种融合多模态、图对比学习的方法（Joyful），实现全局情境特征与单一模态特征的深度交互与融合，并在三个基准数据集上实验，显示 Joyful 具有最先进的性能。

Nov, 2023

基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

Jan, 2022

本文提出了一个新的多模态预训练框架 MMGA，它能在社交媒体上整合图形、图像和文本模态的信息来增强用户表示学习。通过多步骤的图形对齐机制，将自监督信息注入到图像和文本编码器的优化中，同时使用图像和文本模态的信息来指导图形编码器学习。实验结果表明，该模型在 Instagram 数据集上表现良好，能提高粉丝预测任务的性能；同时，我们也公开了包含 60,000 个用户、基于 200 万帖子标注的第一个图形多模态数据集，以便于未来的研究。

Oct, 2022