May, 2023

序列标注的全局上下文机制

PDF
TL;DR使用 BERT 嵌入 BiLSTM，发现将整个句子表示策略性地集成到每个单元格的句子表示中，可显著提高序列标注任务的 F1 得分和准确性。在包含 9 个数据集的序列标注任务中，涵盖了命名实体识别（NER）、词性标注和端到端基于方面的情感分析（E2E-ABSA），所有数据集的 F1 得分和准确率都有显著提高。
bilstm layersentence representationssequence labeling tasksbert embeddedf1 score
发现论文，激发创造
  • 使用编码 LSTM 利用句子级信息进行语义槽填充

    该论文提出了一种名为 Encoder-Labeler LSTM 的序列标注增强方法，通过对标签依赖性和整个输入序列信息的显式建模，较传统方法在自然语言理解中的 Slot Filling 任务中的表现有了显著的提高。

    Jan, 2016

  • 命名实体识别的分层上下文表示

    本文提出了一种基于分层上下文表示的模型，通过句子级和文档级表示来提高实体识别模型中全局信息的利用，其中包括标签嵌入和注意机制以及键值内存网络，实验证明该模型在三个基准数据集上表现出优越的效果。

    Nov, 2019

  • 句状态 LSTM 用于文本表征

    通过构建一个包含词语并行状态的 LSTM 模型，最大程度地提高文本表示能力，并在多个分类和序列标注基准测试中取得了强大的表现。

    May, 2018

  • 基于元 - BiLSTM 模型的上下文敏感词元编码词性标注

    本研究探讨了将具有句子级上下文信息的递归神经网络用于初始化字符和单词级别的表示，并通过元模型进行同步训练来优化其性能，以实现词性标注和形态标记的最佳性能表现。

    May, 2018

  • 序列标注：实用方法

    通过使用通用的基于 Bi-LSTM 的神经序列标注模型，其应用于广泛的自然语言处理任务和语言，结合从数据中提取的形态、语义和结构提示信息以进行有根据的预测，本研究在 8 个基准数据集上对其性能进行了评估，其结果在 4 个数据集上取得了最佳的表现。

    Aug, 2018

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 用于连续句子分类的预训练语言模型

    本文提出一种基于预训练语言模型 (BERT) 的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。

    Sep, 2019

  • RoBERTa-BiLSTM：一种用于情感分析的上下文感知混合模型

    通过结合 RoBERTa 和 BiLSTM 网络的 RoBERTa-BiLSTM 混合深度学习模型，在情感分析中实现更好的性能。

    Jun, 2024

  • 双向 LSTM-CNNs-CRF 的端到端序列标注

    本文提出了一种新颖的神经网络体系结构，该体系结构利用了双向 LSTM，CNN 和 CRF 的组合，自动地从单词和字符级别表示中受益。我们的系统是真正的端到端的，不需要特征工程或数据预处理，因此适用于广泛的序列标注任务。我们在两个数据集上对我们的系统进行了评估，即 Penn Treebank WSJ 语料库用于词性标注和 CoNLL 2003 语料库用于命名实体识别。我们在这两个数据集上获得了最先进的性能 - 词性标注的准确率为 97.55％，命名实体识别的 F1 值为 91.21％。

    Mar, 2016

  • 利用上下文化嵌入的序列标注方法从学术文章中提取关键短语

    本文提出了一种使用 BiLSTM-CRF 模型和深度语境化嵌入来解决学术论文关键词提取问题，结果表明使用语境化嵌入、BiLSTM-CRF 结构和针对特定类型文章的语境化嵌入可以达到更好的性能，并且我们还分析了各种模型的优劣。

    Oct, 2019