KDDAug, 2022

遮盖和原因：预训练知识图谱变形器用于复杂逻辑查询

PDF
TL;DR本文介绍了一种利用知识图谱转换器进行推理的方法，使用了掩码预训练和微调策略。 经过学习处理复杂逻辑查询，结果表明 kgTransformer 在 9 种不同领域的任务中表现优异，并提供了全面的推理路径解释。
knowledge graphtransformerpre-trainingreasoningexplanability
发现论文，激发创造
  • 序列到序列的知识图谱补全与问答

    本研究使用 Transformer 模型代替传统知识图谱嵌入模型 (KGE) 的原子嵌入表示，将 KG link prediction 问题转化为序列到序列任务以及使用自回归解码。相比于传统 KGE 模型，这种简单而强大的方法在保持推理时间可控的同时，将模型大小减少了多达 98％，在不进行过多超参数调整的情况下，在多个大型数据集上的表现优于基线。

    Mar, 2022

  • 知识图谱多跳推理的类型感知嵌入

    本文提出了一种新颖的基于 TypE-aware 信息传递（TEMP）模型，它通过加强查询中的实体和关系表示，并同时提高了概括推理、演绎推理和归纳推理，来利用知识库中关键的语义知识，从而提高现有嵌入式模型的性能。实验结果表明其有效性。

    May, 2022

  • 将图上上下文知识融入预训练语言模型

    本文提出了一种基于 Transformer 模型的知识表示学习方法，能够有效地捕捉知识图谱中节点的上下文信息，提高了医学自然语言处理中的性能表现。

    Nov, 2019

  • 基于结构导向的多模态预训练变压器用于知识图谱推理

    我们提出了图结构引导的多模态预训练变换器（SGMPT）用于知识图谱推理，它采用图结构编码器来进行结构特征编码，并采用加权求和和对齐约束两种不同策略的结构引导融合模块，将结构信息注入文本和视觉特征，实验证明了 SGMPT 在多模态 KGR 方面的效果优于现有的最先进模型。

    Jul, 2023

  • 知识图谱迁移的结构预训练与提示微调

    本文提出一种新型预训练知识图谱模型 KGTransformer 作为多种知识图谱相关任务的通用 KRF 模块，使用三个自监督任务对其进行预训练，并使用三项任务来评估其性能。实验结果表明，KGTransformer 优于特定任务模型并可作为一个通用和有效的 KRF 模块。

    Mar, 2023

  • 为知识图谱补全预训练变形器

    文章介绍了一种名为 iHT 的知识图谱 (KG) 表征模型，该模型基于 Transformer 并经过大规模预训练，由实体编码器和邻居感知关系得分函数组成，可用于 KG 补全，经过实验证明其具有很好的泛化能力和良好的表现。

    Mar, 2023

  • K-BERT：利用知识图谱实现语言表示

    提出了一种基于知识图谱的语言表示模型（K-BERT），可以将领域特定的知识注入到模型中，以用于解决需要专家知识的领域特定问题，实验证明其在 12 个 NLP 任务中有很好的表现。

    Sep, 2019

  • KG-BERT: 知识图谱补全任务的 BERT 模型

    本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。

    Sep, 2019

  • 利用语义相似度的知识图谱编码器，用于常识问答的 ALBERT

    本研究提出使用最新的预训练语言模型 ALBERT 结合知识图谱信息提取技术，方法为模式图扩展，并分析应用于最近的预训练语言模型的知识图谱基础知识提取技术的效果，并证实模式图扩展在某种程度上是有效的。此外，我们表明在 CommonsenseQA 数据集中，我们提出的模型可以比现有的 KagNet 和 MHGRN 模型实现更好的性能。

    Nov, 2022

  • 归纳知识图谱嵌入的元知识迁移

    本文提出一种名为 MorsE 的模型，该模型不学习实体的嵌入，而是学习可转移的元知识，以生成实体的嵌入，这种元知识由实体独立模块建模并通过元学习进行学习，在归纳设置下，该模型可以显着优于相应的基线模型，适用于知识图谱的内部和外部任务。

    Oct, 2021