Sep, 2019

KG-BERT: 知识图谱补全任务的 BERT 模型

PDF
TL;DR本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。
发现论文，激发创造
  • 学术知识图谱补全的三元分类

    本文提出了一种利用预训练的 transformer 语言模型来执行学术知识图谱补全的方法 ——exBERT，并在三个学术知识图谱完成数据集上表现优异，还提供了两个学术数据集作为资源。

    Nov, 2021

  • 基于三元组 BERT 网络的知识图谱精化

    本文利用三元组网络和基于 transformer 的语言模型，采用信息聚类方式对知识图谱中的实体或关系进行 embedding，提升关系预测准确性。通过在多个基准知识图谱上的 triplet 分类和关系预测任务的表现验证了 GilBERT 方法的优越性。

    Nov, 2022

  • K-BERT：利用知识图谱实现语言表示

    提出了一种基于知识图谱的语言表示模型（K-BERT），可以将领域特定的知识注入到模型中，以用于解决需要专家知识的领域特定问题，实验证明其在 12 个 NLP 任务中有很好的表现。

    Sep, 2019

  • 基于 BERT 的临床知识提取用于生物医学知识图谱构建和分析

    本研究提出了使用 BERT 模型和条件随机场层从临床记录中提取和分析生物医学知识的端到端方法，包括自然语言处理模型用于命名实体识别和关系提取等步骤，可以用于构建医学知识图谱并用于问题解答。实验结果表明，该方法对于 505 位真实患者的生物医学非结构化临床记录的命名实体识别和关系提取的准确率分别为 90.7% 和 88%。

    Apr, 2023

  • KG-BERTScore：将知识图谱融入 BERTScore 用于无参考机器翻译评价

    本文研究了机器翻译自动评估方法，并将多语言知识图谱融入 BERTScore 之中，提出了一种名为 KG-BERTScore 的评估指标，通过线性组合 BERTScore 和双语命名实体匹配的结果来评估无需参考译文的机器翻译质量，并在实验中证明 KG-BERTScore 相比当前无参考机器翻译评价方法更接近于人工评估结果。同时，本文还探究了 KG-BERTScore 所用到的预训练多语言模型和线性组合参数。

    Jan, 2023

  • 探索用于知识图谱完成的大型语言模型

    在本研究中，我们探索了利用大型语言模型（LLM）来完成知识图的关键问题。通过将知识图中的三元组视为文本序列，并引入名为 Knowledge Graph LLM（KG-LLM）的创新框架来对这些三元组进行建模。我们的技术利用三元组的实体和关系描述作为提示，并利用生成的响应进行预测。在各种基准知识图上的实验证明，我们的方法在三元组分类和关系预测等任务中达到了最先进的性能水平。我们还发现，微调相对较小的模型（例如 LLaMA-7B，ChatGLM-6B）优于最新的 ChatGPT 和 GPT-4。

    Aug, 2023

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • 基于结构增强的文本表示学习用于高效的知识图谱补全

    本研究旨在整合知识图谱的图嵌入和文本编码技术，以提高自动完成知识图谱的性能，实现更精确的链接预测和结构学习。实验结果表明，该方法能实现与文本编码方法相比 1-2 个数量级的推理成本减少和最先进的性能表现。

    Apr, 2020

  • 知识图谱补全综述

    该研究论文介绍了知识图谱在信息抽取方法中的应用，探讨了表示学习和图神经网络在知识图谱完成中的作用，以及如何利用知识图谱在下游任务中预测缺失的链接。

    Aug, 2022

  • BertNet: 从预训练语言模型中提取知识图谱

    本文提出了一种基于预训练语言模型的自动化知识图谱构建框架，仅以关系的最小定义为输入，利用多样的新设计提示，可以在一个给定的语言模型内进行高效的知识搜索，从而收获更具竞争力、多样性和创新性的知识，生成了一系列但不仅限于 BertNet 和 RoBERTaNet 含有更多包括一些复杂关系的符号知识图谱，并进一步用于解释不同语言模型之间的知识能力差异。

    Jun, 2022