提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。

Jun, 2024

本研究提出了一种名为 MMKGR 的新型模型，其中包含一种统一的门 - 关注网络和一种补充特征感知的强化学习方法，通过有效的多模态补充特征和多次迭代推理，能够更好地实现知识图谱方面的任务，与现有方法相比推理性能更好。

Sep, 2022

利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

Mar, 2020

MMKG 是一个包含数字特征和图像链接的三个知识图谱集合，可以帮助多重关系链接预测和实体匹配社区，并且具有潜力促进知识图谱的新型多模态学习方法的发展。我们通过大量实验验证了 MMKG 在同 As 链接预测任务中的效用，并显示出多元特征类型学习对这一任务的益处。

Mar, 2019

本文介绍了 Visual Question Answering——Graph Neural Network 模型，用于解决视觉理解中的概念层次推理问题，与现有模型相比，该模型将图像级别信息和概念知识进行了统一，并在 VCR 任务中取得了优于 Trans-VL 模型的最佳结果。此外，该模型还提供了跨视觉和文本知识领域的可解释性。

May, 2022

本研究使用 Transformer 模型代替传统知识图谱嵌入模型 (KGE) 的原子嵌入表示，将 KG link prediction 问题转化为序列到序列任务以及使用自回归解码。相比于传统 KGE 模型，这种简单而强大的方法在保持推理时间可控的同时，将模型大小减少了多达 98％，在不进行过多超参数调整的情况下，在多个大型数据集上的表现优于基线。

Mar, 2022

通过提出 MMKGL（Multi-modal Multi-Kernel Graph Learning）来解决多模态图学习的问题，利用该方法提取多模态图中的异质信息，基于 Autism Brain Imaging Data Exchange (ABIDE) 数据集进行评估并识别与自闭症相关的脑区。

Mar, 2023

本文提出了一个新的多模态预训练框架 MMGA，它能在社交媒体上整合图形、图像和文本模态的信息来增强用户表示学习。通过多步骤的图形对齐机制，将自监督信息注入到图像和文本编码器的优化中，同时使用图像和文本模态的信息来指导图形编码器学习。实验结果表明，该模型在 Instagram 数据集上表现良好，能提高粉丝预测任务的性能；同时，我们也公开了包含 60,000 个用户、基于 200 万帖子标注的第一个图形多模态数据集，以便于未来的研究。

Oct, 2022

本研究通过将视觉信息纳入 SKIP-GRAM 模型，创新性地提出了一种多模式的词向量表达方式，并取得了良好的语义基准表现。同时，该模型还能够将视觉信息传递到所有词中，用于改进零样本图像标注和检索，并探索了抽象词汇的有趣视觉属性，为意义的具体化实现奠定了基础。

Jan, 2015

通过提出一种基于 Transformer 架构的 SNAG 方法，结合多模态实体特征在知识图谱中进行鲁棒的集成，本研究在多模态预训练的基础上，展示了在多模态知识图谱完成和多模态实体对齐两个任务中的领先性能，同时还具有增强其他现有方法的稳定性和性能改进的功能。

Mar, 2024