基于顶点替换语法的可解释图建模
现在,越来越多的数据以知识图谱(KGs)的形式可用。虽然这种数据模型支持高级推理和查询,但由于其规模和复杂性,它们仍然难以挖掘。图挖掘方法可以用来从 KGs 中提取模式。然而,这存在两个主要问题。第一,图挖掘方法往往会提取出太多模式,难以被人类分析师解读(模式爆炸)。第二,实际生活中的 KGs 往往与通常用于图挖掘的图形不同:它们是多图,它们的顶点度数往往遵循幂律,并且它们用于建模知识的方式可能会产生虚假的模式。最近,提出了一种名为 GraphMDL + 的图挖掘方法来解决模式爆炸的问题,使用了最小描述长度(MDL)原理。然而,GraphMDL + 和其他图挖掘方法都不适用于未经调整的 KGs。在本文中,我们提出了 KG-MDL,一种基于 MDL 原理的图模式挖掘方法,它可以在给定一个 KG 的情况下生成一个适合人类解释的图模式集,并且是一个无参数和任何时候都可以使用的方法。我们对中等规模 KGs 进行了实验,结果显示我们的方法生成了既适合人类解释又描述了 KG 的模式集。我们展示了这些提取出的模式突出了数据的相关特征:包括用于创建数据的模式和具体事实。我们还讨论了在知识图谱上挖掘图模式与其他类型的图数据相关的问题。
Sep, 2023
本文提出了在大规模图中构建子图词汇表,以及如何通过在词汇表中的子图减少总体描述长度的方式对图形进行描述,并提出了一个高效算法,以便应用于像 Flickr 和 Norte Dame 网站这样的多百万边实际应用中。
Jun, 2014
图形语言模型(GLM)集成了线性文本模型(LM)和图神经网络(GNN)的优点,同时减轻它们的弱点,在有监督和零样本情况下,在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。
Jan, 2024
本文研究分析了如何使用深度学习模型压缩知识图谱,并在大部分语义保持不变的情况下将其解压回原始状态。但是本文发现,Transformer 模型无法完全表达输入的知识图谱,这是因为知识图谱中的定向关系和类型信息与 Transformer 的注意力矩阵的全连接结构存在差异导致的。
Jun, 2022
本研究提出了基于知识图谱的语言模型 (KGLM),它通过从知识图谱中选择和复制与上下文相关的事实来生成准确的文本,在此基础上,引入了对齐 Wikidata 知识图谱的已注释文本的 Linked WikiText-2 数据集,通过实验比较,证明了 KGLM 在生成需要熟知事实的语句方面的性能优于现有的强基准语言模型。
Jun, 2019
在本研究中,我们探索了利用大型语言模型(LLM)来完成知识图的关键问题。通过将知识图中的三元组视为文本序列,并引入名为 Knowledge Graph LLM(KG-LLM)的创新框架来对这些三元组进行建模。我们的技术利用三元组的实体和关系描述作为提示,并利用生成的响应进行预测。在各种基准知识图上的实验证明,我们的方法在三元组分类和关系预测等任务中达到了最先进的性能水平。我们还发现,微调相对较小的模型(例如 LLaMA-7B,ChatGLM-6B)优于最新的 ChatGPT 和 GPT-4。
Aug, 2023