Feb, 2024

TWIG: 通过模拟 KGE 模型实现预处理超参数优化和跨图泛化

PDF
TL;DR我们介绍了一种新颖的无嵌入方法 TWIG (Topologically-Weighted Intelligence Generation)，该方法使用极少数量的参数模拟知识图谱嵌入模型的输出结果，并从图数据的拓扑特征中学习权重，而无需对实体或边缘进行编码。在 UMLS 数据集上的实验证明，单个 TWIG 神经网络能够几乎精确地预测所有超参数配置下的最先进 ComplEx-N3 KGE 模型的结果。根据这些结果，我们提出两个观点：1）KGEs 不仅学习结构模式的潜在表示，而且只学习结构模式的潜在表示；2）KGEs 中的超参数选择是 KGE 模型和图结构的确定性函数。此外，我们假设由于 TWIG 能够在没有嵌入的情况下模拟 KGEs，因此节点和边嵌入不是学习准确预测知识图谱中新事实所必需的。最后，我们将所有发现都归结为 “结构概括假设”，该假设认为 “枝状” 无嵌入 / 数据结构导向的学习方法可以使单个神经网络在许多来自不同领域并具有不同语义的知识图谱上模拟 KGE 性能，并可能解决链接预测任务。
发现论文，激发创造
  • IntelliGraphs: 用于知识图谱生成基准测试的数据集

    该论文介绍了一种名为 Subgraph Inference 的任务，并提出了一个包含逻辑规则的知识图子图的数据集 IntelliGraphs，并设计和评估了不同的基准模型，旨在鼓励发展注重语义理解的机器学习模型。

    Jul, 2023

  • 基于几何代数嵌入的静态和时态知识图完成

    本论文使用几何代数和张量分解提出了一种新的知识图谱表示学习方法 GeomE 和 TGeomE，用于解决深度学习中的时序数据问题。结果表明，该方法在四个常用的静态 KG 数据集和四个知名的时间 KG 数据集上实现了最先进的性能。

    Feb, 2022

  • 关于知识图谱嵌入和图神经网络在物联网中的研究

    通过对知识图谱和图神经网络的研究，我们发现在物联网领域中，采用最新技术的方法在节点分类任务中表现出色，并且图神经网络在链接预测任务方面具有优势。这项初步工作在物联网环境中实现和评估最新方法提供了有价值的见解。

    Oct, 2023

  • 通过记忆推理：最近邻居知识图嵌入

    本文提出了通过预训练语言模型和 k 近邻的知识图谱嵌入新方法 kNN-KGE，使得 rare 或 emerging entities 更容易被显式地存储，而非隐式存在于模型参数中，实验证明该方法可提高归纳式和传导式链接预测结果，并在只有很少的三元组的低资源情况下获得更好的性能。

    Jan, 2022

  • 先有模式！用 MASCHInE 捕捉语义，学习多功能知识图嵌入

    使用为生成原型图设计的启发式算法，从而生成可用于学习知识图嵌入的原型图嵌入，这有助于创造更加全面的嵌入，尤其对于实体聚类和节点分类任务效果显著。

    Jun, 2023

  • 带有投影变换的知识图谱嵌入

    提出了一种基于投影几何的 KGE 模型，支持多重变换类型（包括翻转，反射，平移，旋转和相似变换），旨在解决多关系型知识图谱在邻域中存在多个子图结构的问题，并在几个广泛使用的链接预测基准测试中表现出优越性。

    Jun, 2020

  • 在复数空间中使用共轭共享参数的知识图嵌入

    本文介绍了一种改进的参数共享方法，通过使用在 Knowledge Graph Embedding 模型中使用的复数的共轭参数以减少计算资源的使用，并在性能上与最先进的非共轭模型相媲美或更快地完成训练。

    Apr, 2024

  • KGEx: 通过子图采样和知识蒸馏解释知识图谱嵌入

    KGEx 是一种新颖的后处理方法，通过借鉴替代模型研究来解释知识图嵌入（KGE）中的个别链接预测，并通过训练替代 KGE 模型识别重要的训练三元组，从而提供对于黑盒模型忠实的解释。

    Oct, 2023

  • 像引擎一样执行：用于知识图谱推理的闭环神经符号学习框架

    提出一个基于神经符号学习的 KG 推理模型，通过结合 KG 嵌入和规则学习模块来实现语义关联的增强和解释能力的提高，实验表明这一模型在神经符号学习方面表现优异。

    Dec, 2021

  • 正交 Procrustes 分析实现高效知识图谱嵌入学习

    提出一种简单而有效的知识图谱嵌入框架，使用关系矩阵的全批量学习，基于正交 Procrustes 分析，非负采样训练等三项技术创新较大程度上减少训练时间和环境影响，同时能够生成具有高度可解释性并且富含语义的模型。

    Apr, 2021