Feb, 2024

知识图谱应用于多模态学习:综述

TL;DR本综述对 300 篇以上的文章进行了仔细审查,重点关注了两个主要方面的知识图谱 (KG) 相关研究,即 KG 驱动的多模式学习和多模式知识图谱 (MMKG),通过定义 KG 和 MMKG,探讨了它们的构建进展,以及 KG 驱动的多模式学习任务和 MMKG 任务,为相关研究提供了定义、评估基准和关键见解,最后讨论了当前的挑战和新兴趋势,如大型语言模型和多模式预训练策略的进展。本综述旨在作为 KG 和多模式学习研究领域的全面参考,为已经参与或考虑进行 KG 和多模式学习研究的研究人员提供洞察力,支持未来的工作。