May, 2019

利用实体信息丰富预训练语言模型用于关系分类

PDF
TL;DR本研究提出了一种模型，结合了预训练的 BERT 语言模型和目标实体信息，来解决关系分类任务。通过定位目标实体和在预训练模型中传递信息，并整合两个实体的相应编码信息，我们在 SemEval-2010 任务 8 关系数据集上取得了显著的改进。
relation classificationnlpbert modeltarget entitiessemeval-2010
发现论文，激发创造
  • 面向实体搜索的实体感知 Transformer

    本篇文章研究使用知识图谱中的实体信息是否有助于基于 BERT 的实体检索模型，结果表明使用实体信息的 BERT 模型在复杂自然语言查询和属性筛选等实体相关查询任务中相比传统 BERT 模型具有更好的推荐效果，并且使用该模型可以在数据不足的情况下进行微调以实现对实体搜索的数据有效训练。

    May, 2022

  • 基于双向 LSTM 网络和注意力机制的语义关系分类与潜在实体类型识别

    本文提出了一种新颖的端到端循环神经模型，结合了实体感知的注意力机制和潜在实体类型（LET）方法，以解决语义关系分类任务中现有模型对高级语义和句法特征的过度依赖和未充分利用实体信息等问题。在 SemEval-2010 任务 8 上的实验结果表明，该模型在无需高级特征的情况下胜过现有最先进的模型。

    Jan, 2019

  • 使用预训练语言模型的端到端命名实体识别和关系抽取

    本文提出了一种基于神经元的端到端模型来联合提取实体和它们的关系，该模型不依赖于外部自然语言处理工具，而是集成了大量的预训练语言模型， 在三个领域的五个数据集上，我们的模型可以与最先进的性能相提并论，有时甚至具有更高的性能。

    Dec, 2019

  • 从 BERT 中引出关系知识

    该研究使用一种方法从预训练语言模型中提取关系知识，通过使用大量文本语料库，我们提取句子作为模板，并通过微调语言模型来预测一对词是否是某个关系的实例。

    Nov, 2019

  • SPOT: 知识增强语言表示，用于信息提取

    我们提出了一种新的预训练模型，利用基于维基百科的知识图谱实现了在实体和关系上的双重表示，以及利用跨度模块进行有效编码，相较于现有模型使用更少的参数。实验结果表明，相比 RoBERTa 模型，我们模型在信息抽取任务上表现更好，尤其在监督学习任务中达到了很高的竞争水平。

    Aug, 2022

  • 实体和关系抽取中的情境化和泛化

    本文主要研究了最新的自然语言处理技术中，神经网络和语言模型在命名实体识别和关系抽取方面的应用以及它们在训练过程中面临的一些挑战。我们发现，预训练的语言模型对发现未曾见过的命名实体表现良好，但对于未曾见过的关系则有待加强，因此模型的理解能力仍存在提升空间。

    Jun, 2022

  • 面向中文文献文本的实体关系分类的结构正则化神经网络

    本文提出了一个用于中文文学文本的关系分类任务并构建了一个新的数据集，通过 SR-BRCNN 模型基于结构规则的依存树上提取的最短依赖路径来识别实体之间的关系，实验结果表明该方法 F1 得分提高了 10.3，且在中文文学文本上优于当前的最先进方法。

    Mar, 2018

  • 使用预训练语言表示优化关系提取

    使用 TACRED 及 SemEval 2010 Task 8 数据集，TRE 通过使用预先训练的深度语言表示模型以及自注意力深度学习模型，从文本语料库中自动学习隐式语言特征并显著提高样本效率，从而实现了关系提取任务的新的最优结果。

    Jun, 2019

  • 简单的 BERT 模型用于关系抽取和语义角色标注

    本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

    Apr, 2019

  • 带实体类型限制的关系分类

    本文中，我们提出了一个新的模型架构，称为 RECENT，它利用实体类型限制候选关系，并形式化介绍了关系和实体类型之间的相互约束关系。在 GCN 和 SpanBERT 这两个表现较好的模型上进行实验，实验结果表明，RECENT 可以分别提升它们 6.9 个和 4.4 个 F1 点，并且 RECENT_SpanBERT 在 TACRED 上取得了新的最佳效果。

    May, 2021