Nov, 2020

FLERT：用于命名实体识别的文档级特征

PDF
TL;DR本文针对不考虑跨句子边界信息的标准命名实体识别（NER）模型，通过利用 Transformer 模型进行文档级别特征抽取，提出了基于 Fine-tuning 和 LSTM-CRF 的文档级特征 NER 模型，并通过对上下文窗口大小和文档本地性等不同超参数的实验，得出如何建模文档上下文的结论，最后在多个 CoNLL-03 基准数据集上验证提出的方法取得了最新的最优结果。
named entity recognitiontransformer-based modelsdocument-level featuresfine-tuninglstm-crf
发现论文，激发创造
  • 命名实体识别的分层上下文表示

    本文提出了一种基于分层上下文表示的模型，通过句子级和文档级表示来提高实体识别模型中全局信息的利用，其中包括标签嵌入和注意机制以及键值内存网络，实验证明该模型在三个基准数据集上表现出优越的效果。

    Nov, 2019

  • 命名实体识别中的有效上下文和片段特征使用

    通过使用 FOFE 方法，将多个特征组织成组并将其馈送到专用全连接层，本研究可有效地从上下文和片段特征中学习，并提高命名实体识别 (NER) 的整体性能。实验证明，在仅给定分词文本和训练过的单词嵌入时，本文提出的方法优于基准模型，并与各种著名的 NER 任务的最新技术水平相匹配。

    Apr, 2019

  • 更好的命名实体识别特征集成

    本文提出了一种简单而强大的方法 —— Synergized-LSTM 来结合 linear sequences 和 dependency trees 两类特征以优化 named entity recognition 的效果；实验结果显示，相较于基于 LSTM 和 GCN 的模型，该方法在四种语言的多个标准数据集上均有更好的表现，同时需要更少的参数，并能够更好地捕获长距离依赖。

    Apr, 2021

  • 命名实体识别的神经网络结构

    本文介绍基于双向 LSTM 和条件随机场，以及基于转移的方法的两种新的神经网络模型，这些模型不依赖于领域特定的知识和语言。通过使用监督语料库和未标注语料库，字符表示和无监督的学习表示，这些模型在四种语言中实现了名词实体识别的最先进性能。

    Mar, 2016

  • 通过多粒度嵌入和增强标注进行多级生物医学命名实体识别

    本文提出了一种集成多种模型的混合方法，以解决生物医学实体识别中的局限性，并在 i2b2/2010 数据集上评估，得到了 90.11 的 F1 分数。

    Dec, 2023

  • 双向 LSTM-CNN 命名实体识别

    本文提出了一种新颖的神经网络模型，利用混合双向 LSTM 和 CNN 架构自动检测单词和字符级特征，并提出了一种将部分词典匹配编码到神经网络中的方法。经过广泛评估，使用两个来自公开资源的词典，该系统在 CoNLL-2003 数据集上达到 91.62 的 F1 分数，在 OntoNotes 上达到 86.28 的 F1 分数，超过了其他采用重度特征工程、专有词典和丰富的实体链接信息的系统。

    Nov, 2015

  • 探索上下文和嵌入在神经命名实体识别模型中在任务定向对话系统中的重要性

    本文通过在任务导向的对话系统中评估经过修改的最新神经网络架构的性能，研究了从文本、字符特征和外部语料库中训练的词嵌入的使用方式，并探讨了前一个话语作为附加特征的不同组合，以及在添加自动翻译的英语 - 翻译和英语 - 转录版本到英语数据集后的实验重复性。

    Dec, 2018

  • 使用 BERT 探索跨句子上下文进行命名实体识别

    本文系统研究了使用 BERT 模型处理跨句子信息识别命名实体的方法，并提出了 Contextual Majority Voting (CMV) 算法。在 CoNLL'02 和 CoNLL'03 数据集上实验表明，该算法在英语、荷兰语和芬兰语上的命名实体识别效果均优于现有 BERT 算法的成果，德语效果最佳，西班牙语表现与其他 BERT-based 方法相当。

    Jun, 2020

  • 联邦命名实体识别

    本文通过将联邦学习应用在命名实体识别任务中，使用具有语言无关性的 CoNLL-2003 数据集作为基准数据集，Bi-LSTM-CRF 模型作为基准模型，研究了联邦学习的性能，展示了联邦学习相对于集中式模型在不同的异构学习环境下的性能降低，并讨论了联邦学习在自然语言处理应用领域中的现存挑战和未来研究方向。

    Mar, 2022

  • 高度不平衡数据下适应性命名实体识别

    本报告提出了一种基于条件随机场层和双向 LSTM 层的神经网络体系结构，其中嵌入向量（Glove，BERT）的融合输入被用来增强模型的泛化能力，还引入了一个分类模型来分离句子并对弱类和强类进行优化以提高 Named Entity Recognition 任务的性能。经实验证明，该方法显著提高了弱类的表现结果，并且只使用了非常少量的数据集。

    Mar, 2020