Mar, 2023

为知识图谱补全预训练变形器

PDF
TL;DR文章介绍了一种名为 iHT 的知识图谱 (KG) 表征模型，该模型基于 Transformer 并经过大规模预训练，由实体编码器和邻居感知关系得分函数组成，可用于 KG 补全，经过实验证明其具有很好的泛化能力和良好的表现。
knowledge graphspre-trainingentity encoderrelational scoring functionkg completion
发现论文，激发创造
  • InterHT: 头尾实体交互的知识图谱嵌入

    本文探讨知识图谱嵌入模型中基于距离的方法，在实验结果中展示了两种新颖的方法（InterHT 和 InterHT+），和对比实验结果表明我们的方法在 ogbl-wikikg2 数据集上获得了最佳结果。

    Feb, 2022

  • KG-BERT: 知识图谱补全任务的 BERT 模型

    本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。

    Sep, 2019

  • 知识图谱迁移的结构预训练与提示微调

    本文提出一种新型预训练知识图谱模型 KGTransformer 作为多种知识图谱相关任务的通用 KRF 模块，使用三个自监督任务对其进行预训练，并使用三项任务来评估其性能。实验结果表明，KGTransformer 优于特定任务模型并可作为一个通用和有效的 KRF 模块。

    Mar, 2023

  • 一个可解释的知识迁移模型用于知识库完成

    本研究提出了一种新的嵌入模型 ITransF，它通过稀疏注意机制来完成知识库的补全，并在两个基准数据集（WN18 和 FB15k）上进行了评估，相对于没有使用额外信息的所有基线，ITransF 在知识库补全任务上都显示出了更好的性能。

    Apr, 2017

  • 通过链接预测从文本中归纳实体表征

    本文通过一个综合评估协议，探讨了使用预测链接的实体表示学习，并考虑了线性预测和实体分类任务以及针对面向实体的搜索的信息检索任务，通过一个预训练的语言模型体系结构，证明这些学习的表示不仅适用于 KG 特定任务，还具有比之前的方法更强的泛化性能，同时也在其他任务方面表现出色。

    Oct, 2020

  • 遮盖和原因：预训练知识图谱变形器用于复杂逻辑查询

    本文介绍了一种利用知识图谱转换器进行推理的方法，使用了掩码预训练和微调策略。 经过学习处理复杂逻辑查询，结果表明 kgTransformer 在 9 种不同领域的任务中表现优异，并提供了全面的推理路径解释。

    Aug, 2022

  • HittER: 分层 Transformer 用于知识图谱嵌入

    本文针对多关系知识图谱中实体和关系的学习表示问题，提出了一种基于分层 Transformer 模型的方法，该方法可以联合学习实体关系组合和基于源实体社区的关系上下文。实验结果表明 HittER 模型在多个链接预测数据集上取得了最新的最优结果。此外，我们还提出了一种简单的方法将 HittER 集成到 BERT，并在两个 Freebase 问答数据集上证明了其有效性。

    Aug, 2020

  • 从区分到生成：基于生成式 Transformer 的知识图谱补全

    本论文提出 GenKGC 方法，运用预训练语言模型将知识图谱补全转化为序列生成任务，结合关系引导演示和实体感知分层解码以实现更好的表示学习和更快的推理，并在三个数据集上进行实验，结果表明该方法比基线更优或具有可比较的性能，与预训练语言模型先前的方法相比，具有更快的推理速度。此外，我们还发布了一个新的大规模中文知识图谱数据集 AliopenKG500 供研究使用。

    Feb, 2022

  • 将图上上下文知识融入预训练语言模型

    本文提出了一种基于 Transformer 模型的知识表示学习方法，能够有效地捕捉知识图谱中节点的上下文信息，提高了医学自然语言处理中的性能表现。

    Nov, 2019

  • 序列到序列的知识图谱补全与问答

    本研究使用 Transformer 模型代替传统知识图谱嵌入模型 (KGE) 的原子嵌入表示，将 KG link prediction 问题转化为序列到序列任务以及使用自回归解码。相比于传统 KGE 模型，这种简单而强大的方法在保持推理时间可控的同时，将模型大小减少了多达 98％，在不进行过多超参数调整的情况下，在多个大型数据集上的表现优于基线。

    Mar, 2022