EMNLPSep, 2019

用于连续句子分类的预训练语言模型

PDF
TL;DR本文提出一种基于预训练语言模型 (BERT) 的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。
document-level understandingsentence classificationpretrained language modelscontextual informationstate-of-the-art results
发现论文，激发创造
  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 基于预训练句子嵌入的长文档分类的注意力机制

    通过利用预训练的句子 transformers 对语义有意义的嵌入进行组合，结合文档长度线性扩展的小的注意力层，我们得到了与当前最先进模型竞争力的结果，特别是在冻结底层 transformers 的情况下，有助于避免完全微调。通过两个额外的实验进一步评估所研究的架构在比较简单的基线上的相关性。

    Jul, 2023

  • 通过句子级语言模型实现更好的故事情节

    本文提出了一种基于句子水平的语言模型，该模型从一组流畅的句子备选项中选择故事中的下一句。通过将上下文编码为句子嵌入，比传统基于单词的方法更高效，并取得了在无监督下的 Story Cloze 任务和大规模下一句预测任务中的最新成果。

    May, 2020

  • 基于层级神经网络的长文档分类方法

    本文研究使用分层传递学习方法进行长文本分类，通过将数据分成块，然后传递到使用双向编码器表示的预训练通用句子编码器和 BERT 的基本模型，然后使每个块的输出表示通过包括 LSTMs 或 CNNs 的浅层神经网络来分类文本数据。使用此扩展方法对 6 个基准数据集进行评估，同时与多个深度学习算法进行比较，其中 Longformer 方法在大多数数据集上始终表现良好。

    Jan, 2022

  • 序列标注的全局上下文机制

    使用 BERT 嵌入 BiLSTM，发现将整个句子表示策略性地集成到每个单元格的句子表示中，可显著提高序列标注任务的 F1 得分和准确性。在包含 9 个数据集的序列标注任务中，涵盖了命名实体识别（NER）、词性标注和端到端基于方面的情感分析（E2E-ABSA），所有数据集的 F1 得分和准确率都有显著提高。

    May, 2023

  • 语言模型预训练用于层次文档表示

    从无标注数据中预训练了一种能够包括来自整个文档的上下文信息的分层文档表示，包括定长的句子 / 段落表示，并应用于文档分割、文档级问答和抽取式文档摘要等方面取得了有效结果。

    Jan, 2019

  • 语音识别的长跨度语言建模

    本文探索多句子语境下神经语言模型的应用，并介绍结合了注意力机制和 LSTM 的新型模型在语音识别和长跨度语言模型方面的实验结果。

    Nov, 2019

  • 稀疏注意力神经网络联合训练的序列标记和分类

    提出一种利用 LSTM 网络同时学习句子级别分类任务和序列标注任务的模型，通过语义相关性对单词进行加权的稀疏注意力机制，该方法在 ATIS 和 TREC 数据集上表现优于基准模型。

    Sep, 2017

  • 使用 BERT 探索跨句子上下文进行命名实体识别

    本文系统研究了使用 BERT 模型处理跨句子信息识别命名实体的方法，并提出了 Contextual Majority Voting (CMV) 算法。在 CoNLL'02 和 CoNLL'03 数据集上实验表明，该算法在英语、荷兰语和芬兰语上的命名实体识别效果均优于现有 BERT 算法的成果，德语效果最佳，西班牙语表现与其他 BERT-based 方法相当。

    Jun, 2020

  • 上下文神经语言建模在信息检索中的应用

    本文探讨了利用上下文语境中的神经语言模型 BERT，可以提供更深入的文本信息理解，以增强预先训练的 BERT 模型以及相关的搜索任务。

    May, 2019