Jun, 2022

BertNet: 从预训练语言模型中提取知识图谱

PDF
TL;DR本文提出了一种基于预训练语言模型的自动化知识图谱构建框架，仅以关系的最小定义为输入，利用多样的新设计提示，可以在一个给定的语言模型内进行高效的知识搜索，从而收获更具竞争力、多样性和创新性的知识，生成了一系列但不仅限于 BertNet 和 RoBERTaNet 含有更多包括一些复杂关系的符号知识图谱，并进一步用于解释不同语言模型之间的知识能力差异。
symbolic knowledge graphspretrained language modelsautomatic kg constructionknowledge searchcomplex relations
发现论文，激发创造
  • 语言模型是开放的知识图谱

    本论文介绍了如何使用预训练语言模型构建知识图谱，从而达到无须人类监督的效果，并通过比较人类创建的两个知识图谱，证明了构建的知识图谱的质量高，能够提供新的事实知识，并公开了相关代码和知识图谱。

    Oct, 2020

  • 重新思考语言模型作为符号知识图谱

    基于符号的知识图谱、语言模型和评估指标对知识图谱的拓扑属性和语义属性进行了详尽的评估，发现语言模型在提取符号知识方面能力受到限制。

    Aug, 2023

  • K-BERT：利用知识图谱实现语言表示

    提出了一种基于知识图谱的语言表示模型（K-BERT），可以将领域特定的知识注入到模型中，以用于解决需要专家知识的领域特定问题，实验证明其在 12 个 NLP 任务中有很好的表现。

    Sep, 2019

  • KG-BERT: 知识图谱补全任务的 BERT 模型

    本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。

    Sep, 2019

  • 统一大型语言模型和知识图谱：路线图

    本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

    Jun, 2023

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 利用语义相似度的知识图谱编码器，用于常识问答的 ALBERT

    本研究提出使用最新的预训练语言模型 ALBERT 结合知识图谱信息提取技术，方法为模式图扩展，并分析应用于最近的预训练语言模型的知识图谱基础知识提取技术的效果，并证实模式图扩展在某种程度上是有效的。此外，我们表明在 CommonsenseQA 数据集中，我们提出的模型可以比现有的 KagNet 和 MHGRN 模型实现更好的性能。

    Nov, 2022

  • 反直觉：大型语言模型比我们认为的更能理解知识图谱

    我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

    Feb, 2024

  • RelBERT: 用语言模型嵌入关系

    我们提出了一种使用相对较小的语言模型从文本中提取关系嵌入的方法，这种方法可以在关系相似性方面取得出色的结果，并且在关键词和模型性能方面显著优于其他基于提示的语言模型。

    Sep, 2023

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022