AAAIAug, 2019

为什么使用注意力？在 NER 案例中分析 BiLSTM 的缺陷及其解决方法

PDF
TL;DR本文针对 BiLSTM 核心模块在序列标注中的局限性进行分析，表明其在对每个词的交叉上下文模式建模上存在异或门局限。接着，通过两种跨度结构 ——self-attention 和 Cross-BiLSTM，有效地解决了这一问题，并在 OntoNotes 5.0 和 WNUT 2017 等真实数据集上验证了其优越性。
发现论文，激发创造
  • 为什么使用 Attention？分析与修复 BiLSTM 在建模 NER 的跨上下文方面的缺陷

    本论文针对 BiLSTM 模型的局限性，提出两种结构 -- 自注意力和 Cross-BiLSTM，用于命名实体识别并在 OntoNotes 5.0 和 WNUT 2017 语料集上实现明显且一致的性能提升。

    Oct, 2019

  • 自我关注网络在中文分词中的应用研究

    研究了自注意网络和 BERT 对中文分词任务的影响，提出了将词信息集成到自注意网络中的方法，并展示了该方法在 6 个领域基准测试中的最佳结果。

    Jul, 2019

  • 神经主题分割中上下文建模的改进

    本文提出了一个基于层级注意力双向 LSTM 网络的主题分割器，通过添加相干性相关的辅助任务和受限制自注意力来更好地建模上下文，从而超过了 SOTA 方法，并在领域转移设置中证明了其鲁棒性和在多语言场景中的有效性。

    Oct, 2020

  • 分层细化标签注意力网络用于序列标注

    提出一种基于层级注意力机制的标签嵌入模型，较传统的 BiLSTM-CRF 有更好的标签序列表示性能，能显著提高词性标注、实体识别和语法标记任务的标注效果并缩短训练和测试时间。

    Aug, 2019

  • 序列标注的全局上下文机制

    使用 BERT 嵌入 BiLSTM，发现将整个句子表示策略性地集成到每个单元格的句子表示中，可显著提高序列标注任务的 F1 得分和准确性。在包含 9 个数据集的序列标注任务中，涵盖了命名实体识别（NER）、词性标注和端到端基于方面的情感分析（E2E-ABSA），所有数据集的 F1 得分和准确率都有显著提高。

    May, 2023

  • 使用双向 LSTM 模型和内在注意力学习自然语言推理

    该论文提出了一种基于句子编码技术的模型，通过使用双向 LSTM 进行单词级别的平均池化生成第一阶段的句子表示，并采用注意力机制替代平均池化，以更好地表示文本蕴含关系。最终，通过对斯坦福自然语言推理语料库的实验验证了该模型具有较少的参数以及比现有最佳的句子编码方法更高的性能。

    May, 2016

  • 使用 BERT 探索跨句子上下文进行命名实体识别

    本文系统研究了使用 BERT 模型处理跨句子信息识别命名实体的方法，并提出了 Contextual Majority Voting (CMV) 算法。在 CoNLL'02 和 CoNLL'03 数据集上实验表明，该算法在英语、荷兰语和芬兰语上的命名实体识别效果均优于现有 BERT 算法的成果，德语效果最佳，西班牙语表现与其他 BERT-based 方法相当。

    Jun, 2020

  • 基于注意力机制的神经文本分割

    本文提出了一种基于注意力机制的双向 LSTM 模型，使用卷积神经网络学习句子嵌入，利用上下文信息预测文本分段，相比现有的竞争基准方法，在三个基准数据集上的 WinDiff 分数提高了约 7%。

    Aug, 2018

  • 命名实体识别的分层上下文表示

    本文提出了一种基于分层上下文表示的模型，通过句子级和文档级表示来提高实体识别模型中全局信息的利用，其中包括标签嵌入和注意机制以及键值内存网络，实验证明该模型在三个基准数据集上表现出优越的效果。

    Nov, 2019

  • 关注实体以获得更好的文本理解

    在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

    Nov, 2019