Sep, 2023

多模态知识图谱的端到端学习

PDF
TL;DR我们提出了一种多模态的消息传递网络，不仅能够从图的结构中学习端到端信息，还能从其中多样的多模态节点特征中学习，包括数字、文本、日期、图像和几何形状，通过在一个联合表示空间中投影到它们的关系信息。通过在人工和真实数据集上进行节点分类和链接预测的实验，我们发现任意知识图的端到端多模态学习是可能的，并且包含多模态信息可以显著影响性能，但这很大程度上取决于数据的特征。
knowledge graphsend-to-end modelsmultimodal message passing networknode classificationlink prediction
发现论文，激发创造
  • 多模态知识图谱上端到端的实体分类

    提出了一种多模态消息传递网络，在结构化的知识图谱中处理来自多种标记类型的节点特征，以提高节点分类任务的性能。

    Mar, 2020

  • 图上多模态学习

    本文介绍了一种多模式图形学习的蓝图，该模型通过将不同模态的数据集组合成图形，并使用图形来利用跨模态的依赖关系，同时利用图形作为指导提供了图形学习方法的设计方案和指导，以解决在多模态数据集中学习的基本挑战。

    Sep, 2022

  • 多模态图学习的生成任务

    多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

    Oct, 2023

  • 知识增强的多模态学习调查

    该研究调查了多模态学习中的视觉语言学习及其与知识图谱的结合，提出了一种基于知识图谱的视觉语言学习模型以解决一般性知识方面的问题。

    Nov, 2022

  • 为知识库补全嵌入多模态关系数据

    该研究提出了一种使用多种神经编码器的多模态知识库嵌入方法，将它们与现有关系模型相结合，学习实体和多模态数据的嵌入，进而提出了一种新的多模态插值模型，用于从知识库中的信息生成丢失的多模态值，并通过用户研究评估了其生成的多模态值的质量。

    Sep, 2018

  • 多模态图神经网络用于视觉场景联合推理

    利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

    Mar, 2020

  • 多模态知识图谱的零样本关系学习

    我们提出了一个新颖的端到端框架，包含三个组成部分：多模态学习器、结构整合器和关系嵌入生成器，以整合多样化的多模态信息和知识图结构，从而促进零样本关系学习。通过对两个多模态知识图的评估结果，证明了我们提出方法的卓越性能。

    Apr, 2024

  • 多模态图学习：一项调查

    多模态图学习的比较分析，阐明不同图类型的多模态学习方式，探索主要学习技术的特点，以及多模态图学习的重要应用和未来方向。

    Feb, 2024

  • 消息传递查询嵌入

    本文提出了一种基于图神经网络对查询进行编码的通用架构，与现有方法相比，该方法可以编码更多种类型的查询。实验结果表明，该模型可以学习到表示实体类型的实体嵌入，并在复杂查询方面表现优异。

    Feb, 2020

  • 知识图谱应用于多模态学习：综述

    本综述对 300 篇以上的文章进行了仔细审查，重点关注了两个主要方面的知识图谱 (KG) 相关研究，即 KG 驱动的多模式学习和多模式知识图谱 (MMKG)，通过定义 KG 和 MMKG，探讨了它们的构建进展，以及 KG 驱动的多模式学习任务和 MMKG 任务，为相关研究提供了定义、评估基准和关键见解，最后讨论了当前的挑战和新兴趋势，如大型语言模型和多模式预训练策略的进展。本综述旨在作为 KG 和多模式学习研究领域的全面参考，为已经参与或考虑进行 KG 和多模式学习研究的研究人员提供洞察力，支持未来的工作。

    Feb, 2024