Oct, 2022

具有深度跨度表示的命名实体识别

PDF
TL;DR本研究提出 DSpERT（Deep Span Encoder Representations from Transformers），使用预训练语言模型的权重初始化，利用 Transformer 架构和检索式编码在命名实体识别任务上实现了高性能，特别是在长跨度实体和嵌套结构方面表现出色。
span-based modelsnamed entity recognitiondeep span encodertransformerpretrained language models
发现论文，激发创造
  • 基于 Transformer 预训练的跨度联合实体和关系抽取

    本文介绍了一种轻量级的基于注意力机制的模型 SpERT，通过对 BERT 嵌入进行实体识别和过滤，以及基于标记的上下文表示进行关系分类，结合单 BERT 传递的高效负样例抽取方法，在多个数据集上取得了高于先前工作最高达 2.6% F1-score 的性能表现。

    Sep, 2019

  • 基于神经网络跨度的连续命名实体识别模型

    本论文提出了一种名为 SpanKL1 的简单而有效的基于 Span 的模型，采用知识蒸馏和多标签预测技术，旨在解决命名实体识别领域中实体类型不断增加的问题，并在 OntoNotes 和 Few-NERD 等数据集上进行实验，结果表明 SpanKL 显著优于先前的方法，并显示出高实用价值。

    Feb, 2023

  • 科学命名实体识别的分层 Transformer 模型

    使用 BERT 和 transformer 层的简单和有效的 Named Entity Recognition 方法在计算机科学和生物医学领域的三个基准数据集上优于当前最先进技术，无需外部资源或特定数据增强。

    Mar, 2022

  • SPOT: 知识增强语言表示，用于信息提取

    我们提出了一种新的预训练模型，利用基于维基百科的知识图谱实现了在实体和关系上的双重表示，以及利用跨度模块进行有效编码，相较于现有模型使用更少的参数。实验结果表明，相比 RoBERTa 模型，我们模型在信息抽取任务上表现更好，尤其在监督学习任务中达到了很高的竞争水平。

    Aug, 2022

  • DeepER -- 深度实体分辨

    本文介绍了一种名为 DeepER 的新型实体解析（ER）系统，该系统利用了先进的深度学习技术，通过使用递归神经网络（RNN）和分布式表示（即向量）等方法。提高了解析准确性、效率和易用性，相比传统机器学习方法无需人工标记数据和手工制定特征和相似性函数阈值。在多个数据集上进行测试的实验结果表明，DeepER 优于现有的解决方案。

    Oct, 2017

  • SpanNER: 命名实体重新识别 / 识别作为跨度预测

    本文研究了使用 span prediction 和 sequence labeling 框架进行命名实体识别的优缺点，并提出了系统组合的方法来重新识别来自不同系统的命名实体，并在 11 个数据集上进行了 154 个系统的实验，证明了 span prediction 也可以作为基础 NER 系统和系统组合器，同时也将我们的模型部署到 ExplainaBoard 平台上。

    Jun, 2021

  • 命名实体识别的深度学习调查

    本文基于三个维度的分类法，系统地回顾了深度学习在命名实体识别上的应用技术，并介绍了面临的挑战和未来的研究方向。

    Dec, 2018

  • SpanProto: 两阶段基于 Span 的原型网络用于少样本命名实体识别

    本文介绍了一种基于 SpanProto 和 prototypical learning 的 few-shot NER 方法，并使用 margin-based loss 进一步提高了模型性能。实验表明，该模型在多个基准测试中表现优异。

    Oct, 2022

  • DG-SpanBERT 高效长距离关系抽取

    该研究提出了一种新的基于 SpanBERT 和图卷积网络的关系抽取模型 (DG-SpanBERT), 具有学习从大规模语料库中获取词汇特征和捕捉实体之间长距离关系的优点，在 TACRED 数据集上的实验结果表明其性能优于现有基于依存关系和序列的模型，达到了最先进的水平。

    Apr, 2020

  • 一种令人尴尬的但对嵌套命名实体识别非常强的基准方法

    本文提出使用卷积神经网络来建模得分矩阵中的空间关系以解决嵌套的命名实体识别问题，实验证明相较于最近提出的同类方法，本文提出的方法更为优秀，并且发现不同的论文使用不同的句子标记化会对结果产生影响，因此提供一种易于使用的预处理脚本以便于日后比较。

    Aug, 2022