Aug, 2022

SPOT: 知识增强语言表示，用于信息提取

PDF
TL;DR我们提出了一种新的预训练模型，利用基于维基百科的知识图谱实现了在实体和关系上的双重表示，以及利用跨度模块进行有效编码，相较于现有模型使用更少的参数。实验结果表明，相比 RoBERTa 模型，我们模型在信息抽取任务上表现更好，尤其在监督学习任务中达到了很高的竞争水平。
knowledge-enhanced pre-trained modelsrelation extractionentity representationrelationship representationwikipedia knowledge graph
发现论文，激发创造
  • 面向实体搜索的实体感知 Transformer

    本篇文章研究使用知识图谱中的实体信息是否有助于基于 BERT 的实体检索模型，结果表明使用实体信息的 BERT 模型在复杂自然语言查询和属性筛选等实体相关查询任务中相比传统 BERT 模型具有更好的推荐效果，并且使用该模型可以在数据不足的情况下进行微调以实现对实体搜索的数据有效训练。

    May, 2022

  • 知识增强的上下文词表示

    提出了一种用多个知识库来加强大型模型表示的方法，每个知识库都通过一个集成实体链接器来检索相关实体嵌入，然后通过单词与实体关注的形式更新上下文单词表示，经实验发现知识增强的 BERT 模型具有更好的性能，且运行时间与 BERT 相当。

    Sep, 2019

  • 利用知识图谱嵌入增强关系抽取的上下文表示

    本论文使用预训练的知识图谱嵌入模型，结合文本语料库的句子级上下文表示，实现了较高性能的关系抽取模型，并通过实验验证了该方法的有效性和出色性能。

    Jun, 2023

  • ERNIE: 增强语言表示与信息实体

    本文提出了 ERNIE，使用大规模的文本语料库和知识图谱（KGs）同时训练，利用 KGs 中的外部知识来增强语言表征，实验证明在不同知识驱动任务上 ERNIE 显著提高性能，同时在其他常见 NLP 任务上与 BERT 的性能相当。

    May, 2019

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • 知识图谱和预训练语言模型增强的对话式推荐系统表示学习

    利用对话历史和自然语言交互，通过知识增强的实体表示学习框架（KERL）来改善对话型推荐系统的语义理解和推荐效果。

    Dec, 2023

  • K-BERT：利用知识图谱实现语言表示

    提出了一种基于知识图谱的语言表示模型（K-BERT），可以将领域特定的知识注入到模型中，以用于解决需要专家知识的领域特定问题，实验证明其在 12 个 NLP 任务中有很好的表现。

    Sep, 2019

  • REKnow：用于联合实体和关系提取的增强型知识

    本研究提出了一种知识增强的生成模型，能够前所未有地利用知识图谱来解决关系抽取问题中的歧义，显著提高了在多个基准测试和设置下的性能表现。

    Jun, 2022

  • 从 BERT 中引出关系知识

    该研究使用一种方法从预训练语言模型中提取关系知识，通过使用大量文本语料库，我们提取句子作为模板，并通过微调语言模型来预测一对词是否是某个关系的实例。

    Nov, 2019

  • 语言模型作为知识库吗？

    通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

    Sep, 2019