提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。

Jun, 2024

本文提出了一种拓扑感知的、适用于归纳和推理环境下的多模态知识图谱推理方法 TMR，该方法主要由任务感知归纳表示和关系增强自适应强化学习两个组件构成，并在不同规模的归纳推理数据集上进行了评估。实验表明，TMR 在归纳和推理环境下均优于现有的多模态知识图谱推理方法。

Jun, 2023

MMKG 是一个包含数字特征和图像链接的三个知识图谱集合，可以帮助多重关系链接预测和实体匹配社区，并且具有潜力促进知识图谱的新型多模态学习方法的发展。我们通过大量实验验证了 MMKG 在同 As 链接预测任务中的效用，并显示出多元特征类型学习对这一任务的益处。

Mar, 2019

多模态知识图谱补全 (MMKGC) 旨在通过协同建模大量三元组中隐藏的结构信息和实体的多模态特征，自动发现给定的多模态知识图谱中的新知识三元组。我们引入了一种新颖的 MMKGC 框架，即混合模态知识专家 (MoMoK)，来学习在复杂关系环境下自适应的多模态嵌入。通过设计关系指导的模态知识专家来获取关系感知的模态嵌入，并整合多模态的预测结果以实现全面的决策。此外，通过最小化它们的互信息来解开这些专家之间的联系。在四个公开的 MMKG 基准上的实验证明了 MoMoK 在复杂情境下的出色性能。

May, 2024

本文提出了一个基于多跳推理的知识图谱通用框架，其中包含本地全局知识模块以估计可能的路径，不同的操作丢失模块以探索各种路径，自适应停止搜索模块以避免过度搜索，并将其应用于自然语言处理。实验结果表明，该模型能够在短距和长距推理场景中显著地改善性能。

Oct, 2020

该研究论文介绍了多模态知识图谱，探讨了构建及应用过程中的挑战和进步，并分析了不同解决方案的优缺点及与 MMKG 相关的未解决研究问题。

Feb, 2022

本论文提出了一种新颖的知识感知方法，将预训练语言模型与多跳关系推理模块相结合，对外部知识图谱子图进行多跳关系推理。该方法统一了基于路径的推理方法和图神经网络，提高了可解释性和可伸缩性，并在常识问答和开放式书面问答数据集上证明了其有效性和可伸缩性，并通过案例研究进行了解释。

May, 2020

本文提出了一种元学习式的多跳知识图谱（KG）推理方法（Meta-KGR），适用于少样本关系中的查询回答（QA）任务，通过学习适应于不同关系的元参数，提高模型的推理能力，实验表明，在 Freebase 和 NELL 数据集上，Meta-KGR 在少样本场景下优于现有技术方法。

Aug, 2019

本综述对 300 篇以上的文章进行了仔细审查，重点关注了两个主要方面的知识图谱 (KG) 相关研究，即 KG 驱动的多模式学习和多模式知识图谱 (MMKG)，通过定义 KG 和 MMKG，探讨了它们的构建进展，以及 KG 驱动的多模式学习任务和 MMKG 任务，为相关研究提供了定义、评估基准和关键见解，最后讨论了当前的挑战和新兴趋势，如大型语言模型和多模式预训练策略的进展。本综述旨在作为 KG 和多模式学习研究领域的全面参考，为已经参与或考虑进行 KG 和多模式学习研究的研究人员提供洞察力，支持未来的工作。

Feb, 2024

该研究论文为知识图谱推理提供了一种静态模型，其目的是在知识图谱上推出新的事实，概述了静态、时间性和多模态 KGR 模型的检测，探讨了相应的数据集和挑战。

Dec, 2022