KDDJun, 2023

多源知识图谱上基于联合预训练和本地微调的可迁移表征学习

PDF
TL;DR本文提出了 “联合预训练和本地重新训练” 框架，用于学习和应用多源知识图谱嵌入。旨在利用不同的知识图谱，改善知识图谱嵌入和下游任务。通过实体对齐构建链接的子图，通过三级知识蒸馏进行重新训练，实现知识的传递，生成更具表现力的嵌入。该框架在广泛实验中证明了其有效性和效率。
发现论文，激发创造
  • 为跨语言实体对齐双向训练知识图谱嵌入和实体描述嵌入

    本文研究利用基于嵌入的方法，利用多语言知识图谱上实体的文字描述，通过共训两种嵌入模型，即一个多语言知识图谱嵌入模型和一个多语言文字描述嵌入模型，进行半监督学习。实验结果表明，该方法在实体对齐任务中的性能随共训迭代而提高，最终明显优于之前的方法。此外，该方法具有零样本实体对齐和跨语言知识图谱完成的良好能力。

    Jun, 2018

  • 通过共蒸馏学习进行知识图谱嵌入

    本文提出了一种称为 CoLE 的 Co - 蒸馏学习方法用于知识图谱嵌入，并在基准数据集上的实验表明，该方法优于现有的嵌入模型，提高了知识图谱嵌入的最新技术水平。

    Aug, 2022

  • 深度双向语言 - 知识图谱预训练

    用自我监督的方法，从文本和知识图谱中预先训练出深度语言 - 知识图谱联合模型 DRAGON，而 DRAGON 在一系列下游任务中实现了良好性能，尤其是在语言和知识复杂推理方面的优异表现，以及在各种 BioNLP 任务中的最新成果。

    Oct, 2022

  • 使用知识图谱进行视觉迁移学习的调查

    本文综述了利用知识图谱的视觉迁移学习方法，着重分析知识图谱的建模结构、特征提取和知识图嵌入方法，并介绍了四种知识图谱与深度学习管道的组合方式。同时，提供了评估基准、处理数据集和基于知识图谱的辅助知识类型的概述。未来的研究应着眼于挖掘面临的挑战和开放问题。

    Jan, 2022

  • JAKET: 知识图谱与语言理解的联合预训练

    本文提出了一种新的联合预训练框架 JAKET，旨在更有效地整合与语言模型相关的知识图，并在几项知识感知 NLP 任务中取得了显著的性能优势。

    Oct, 2020

  • 知识图谱完善的文本和知识联合表示学习

    提出一种新的框架，将词汇、实体和关系嵌入到同一连续向量空间中，通过对知识图谱和纯文本的联合学习，可以更准确地完成知识图谱补全，实现实体预测、关系预测和关系分类等任务，并且相比其他基线模型，在三项任务上均可以显著且持续地提高性能。

    Nov, 2016

  • 分散式知識圖譜表示學習

    本文提出了一种去中心化的知识图谱表示学习方法，针对只提供实体关系信息但没有输入特征的情况，通过从实体邻居的嵌入编码实体并设计算法进行知识蒸馏来优化，在实体对齐任务上表现得更好，并在归纳设置下在实体对齐和实体预测任务上优于所有对照实验.

    Oct, 2020

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 将图上上下文知识融入预训练语言模型

    本文提出了一种基于 Transformer 模型的知识表示学习方法，能够有效地捕捉知识图谱中节点的上下文信息，提高了医学自然语言处理中的性能表现。

    Nov, 2019

  • 联合学习实体和关系表示用于实体对齐

    本文提出了一种使用图卷积神经网络（GCN）学习实体和关系表示的新颖联合学习框架，以改善实体对齐，并证明利用有用的关系表示来协助实体对齐是一种简单而有效的方法。通过在三个真实的跨语言数据集上进行的实验表明，我们的方法显著优于现有的实体对齐方法。

    Sep, 2019