Aug, 2019

基于 BERT 的多头选择联合实体关系抽取

PDF
TL;DR本文利用 BERT 作为特征提取层并引入语义增强的预训练任务，并使用大规模数据集进行实体识别预训练，提出软标签嵌入以有效传递实体识别和关系提取之间的信息，从而增强多头选择模型的信息提取能力，最终在测试集上获得了 0.892 的 F1 分数。
发现论文，激发创造
  • 中文医学文本中 BERT 联合实体和关系抽取的微调

    该研究提出了一种基于 BERT 语言模型和聚焦注意力机制的联合实体和关系抽取模型，通过动态范围注意机制，提高了共享参数层的特征表示能力，实验结果表明，该方法在冠状动脉造影文本上的名词实体识别和关系分类任务的 F1 得分分别达到 96.89% 和 88.51%，优于现有技术水平。

    Aug, 2019

  • 基于 Transformer 预训练的跨度联合实体和关系抽取

    本文介绍了一种轻量级的基于注意力机制的模型 SpERT，通过对 BERT 嵌入进行实体识别和过滤，以及基于标记的上下文表示进行关系分类，结合单 BERT 传递的高效负样例抽取方法，在多个数据集上取得了高于先前工作最高达 2.6% F1-score 的性能表现。

    Sep, 2019

  • 联合实体识别和关系抽取作为多头选择问题

    该研究提出了一种基于神经网络的联合模型，能够同时执行实体识别和关系抽取任务，而无需人工提取特征或使用任何外部工具，并在包括新闻、生物医学和房地产等不同语境下进行了实验，而且表现优异。

    Apr, 2018

  • 使用 BERT 实现通用语言命名实体识别

    本文研究了一种基于多语言 BERT 的单一命名实体识别模型，使用多任务学习和分块更新规则等正则化策略优化模型，并证明在多种语言数据集上表现优于专注于单一语言模型，并能够进行零样本预测。

    Nov, 2019

  • 简单的 BERT 模型用于关系抽取和语义角色标注

    本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

    Apr, 2019

  • 面向实体搜索的实体感知 Transformer

    本篇文章研究使用知识图谱中的实体信息是否有助于基于 BERT 的实体检索模型，结果表明使用实体信息的 BERT 模型在复杂自然语言查询和属性筛选等实体相关查询任务中相比传统 BERT 模型具有更好的推荐效果，并且使用该模型可以在数据不足的情况下进行微调以实现对实体搜索的数据有效训练。

    May, 2022

  • 利用实体 BIO 标签嵌入和多任务学习处理类别不平衡的关系抽取

    本研究提出一种多任务学习方法，利用实体 - 关系 - 类型三元组数据以及 BIO 标记嵌入来进行关系抽取，实验结果表明该方法可以有效地提高模型的 F1 得分。

    Jun, 2019

  • 利用实体信息丰富预训练语言模型用于关系分类

    本研究提出了一种模型，结合了预训练的 BERT 语言模型和目标实体信息，来解决关系分类任务。通过定位目标实体和在预训练模型中传递信息，并整合两个实体的相应编码信息，我们在 SemEval-2010 任务 8 关系数据集上取得了显著的改进。

    May, 2019

  • 基于相似度的增强记忆联合实体和关系抽取

    本文介绍了一种多任务学习框架，其中任务之间存在双向记忆依赖，并能更准确地进行文档级别的实体和关系抽取，实证研究表明该方法优于现有方法，并在 BioCreative V CDR 语料库上取得了最新成果。

    Jul, 2023

  • 使用深度双仿射注意力的端到端神经关系抽取

    本文提出一个神经网络模型，用于联合抽取命名实体和它们之间的关系，无需手动设计特征。该模型采用深度双仿射关注层扩展了 BiLSTM-CRF 实体识别模型，以建模关系分类中潜在特征的二阶交互。在 benchmark 数据集 CoNLL04 上进行实验，结果显示该模型的表现优于之前的模型，创造了新的最好表现。

    Dec, 2018