为知识库补全嵌入多模态关系数据

EMNLPSep, 2018

为知识库补全嵌入多模态关系数据

Embedding Multimodal Relational Data for Knowledge Base Completion

Pouya Pezeshkpour, Liyan Chen, Sameer Singh

TL;DR该研究提出了一种使用多种神经编码器的多模态知识库嵌入方法，将它们与现有关系模型相结合，学习实体和多模态数据的嵌入，进而提出了一种新的多模态插值模型，用于从知识库中的信息生成丢失的多模态值，并通过用户研究评估了其生成的多模态值的质量。

Abstract

Representing entities and relations in an embedding space is a well-studied approach for machine learning on relational data. Existing approaches, however, primarily focus on simple link structure between a finite set of entities, ignoring the variety of data types that are often used in knowledge bases, such as text, images, and numerical values. In this pa

multimodal knowledge base embeddings neural encoders relational datasets link prediction missing multimodal values

发现论文，激发创造

多模态知识库下的多模态实体标记

本文提出了一个新的任务叫做多模态实体标记 (MET) 以及一个多模态知识库，并开发了一个数据集以解决该问题。使用信息检索范式解决此任务并使用 NLP 和 CV 中最先进的方法实现了几个基线。结果表明，该任务具有挑战性，但当前技术可以实现相对较高的性能。

Dec, 2021

使用神经嵌入模型学习多关系语义

本文提出了一种统一的模型框架，用于建模多关系表示、评分和学习，并在此框架下对几种最近的多关系嵌入模型进行了实证研究。研究了基于线性和双线性变换的关系算子的不同选择，以及通过整合额外文本资源上的非监督向量进行实体表示的效果。结果表明了几个有趣的发现，实现了在 Freebase 上进行评估的热门知识库完成任务的最新性能的简单嵌入模型的设计。

Nov, 2014

多模态知识图谱

MMKG 是一个包含数字特征和图像链接的三个知识图谱集合，可以帮助多重关系链接预测和实体匹配社区，并且具有潜力促进知识图谱的新型多模态学习方法的发展。我们通过大量实验验证了 MMKG 在同 As 链接预测任务中的效用，并显示出多元特征类型学习对这一任务的益处。

Mar, 2019

多模态知识图谱的端到端学习

我们提出了一种多模态的消息传递网络，不仅能够从图的结构中学习端到端信息，还能从其中多样的多模态节点特征中学习，包括数字、文本、日期、图像和几何形状，通过在一个联合表示空间中投影到它们的关系信息。通过在人工和真实数据集上进行节点分类和链接预测的实验，我们发现任意知识图的端到端多模态学习是可能的，并且包含多模态信息可以显著影响性能，但这很大程度上取决于数据的特征。

Sep, 2023

视频和音频检索的跨模态嵌入

本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

Jan, 2018

多模态知识图谱完成的多层级融合混合变压器

本文提出了一种具有多级融合和混合变压器结构的 Multimodal Knowledge Graphs，用于解决多模态知识图谱完成任务中的问题，并在四个数据集上取得了 SOTA 性能。

May, 2022

混合模态知识专家用于鲁棒的多模态知识图补全

多模态知识图谱补全 (MMKGC) 旨在通过协同建模大量三元组中隐藏的结构信息和实体的多模态特征，自动发现给定的多模态知识图谱中的新知识三元组。我们引入了一种新颖的 MMKGC 框架，即混合模态知识专家 (MoMoK)，来学习在复杂关系环境下自适应的多模态嵌入。通过设计关系指导的模态知识专家来获取关系感知的模态嵌入，并整合多模态的预测结果以实现全面的决策。此外，通过最小化它们的互信息来解开这些专家之间的联系。在四个公开的 MMKG 基准上的实验证明了 MoMoK 在复杂情境下的出色性能。

May, 2024

为语言模型赋予多模态知识图谱表达

本文提出使用外部知识图谱作为存储知识，并使用密集索引来检索以提高自然语言理解模型的参数效率，并通过两项下游任务证明了学习到的实体表示的实用性。

Jun, 2022

BioBLP: 多模态生物医学知识图谱学习的模块化框架

提出了一种用于学习具有实体属性的知识图谱嵌入的模块化框架，其中模块可以对不同模态的属性数据进行编码，并且支持具有缺失属性的实体。在使用包含大约两百万三元组的生物医学 KG 进行训练和评估时，发现在给定低程度实体的情况下，与不考虑属性数据的基准方法相比，该方法在药物 - 蛋白质相互作用预测任务中的表现较好。

Jun, 2023

基于卷积神经网络的知识库补全新嵌入模型

本文提出了一种名为 ConvKB 的嵌入模型，通过卷积神经网络来捕获知识库中实体和关系之间的全局关系和转换特征，并在两个基准数据集上实现了比以前最先进的嵌入模型更好的链接预测性能。

Dec, 2017