Oct, 2019

利用上下文化嵌入的序列标注方法从学术文章中提取关键短语

PDF
TL;DR本文提出了一种使用 BiLSTM-CRF 模型和深度语境化嵌入来解决学术论文关键词提取问题，结果表明使用语境化嵌入、BiLSTM-CRF 结构和针对特定类型文章的语境化嵌入可以达到更好的性能，并且我们还分析了各种模型的优劣。
keyphrase extractionscholarly articlesbilstm-crfcontextualized embeddingsgenre-specific embeddings
发现论文，激发创造
  • 关于利用上下文预测学术论文句子的引用价值

    探究在科学论文中预测引用价值的句子时，上下文作用的重要性，利用双向 LSTM 模型解决了该问题，并提出了一个新的基准数据集以及文档级别的训练 / 测试分配，通过误差分析揭示了上下文在预测引用价值方面的重要作用。

    Apr, 2021

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 序列标注的全局上下文机制

    使用 BERT 嵌入 BiLSTM，发现将整个句子表示策略性地集成到每个单元格的句子表示中，可显著提高序列标注任务的 F1 得分和准确性。在包含 9 个数据集的序列标注任务中，涵盖了命名实体识别（NER）、词性标注和端到端基于方面的情感分析（E2E-ABSA），所有数据集的 F1 得分和准确率都有显著提高。

    May, 2023

  • 使用句向量进行简单的无监督关键短语抽取

    本文提出了一种新颖的无监督方法，即 EmbedRank，通过使用句子嵌入从单个文档中提取关键短语，进而在标准数据集上实现了比基于图的现有系统更高的 F-score，适用于实时处理大量 Web 数据，并通过引入基于嵌入的最大边际相关性来明确地增加所选关键短语的覆盖率和多样性，200 份投票的用户调查表明，我们的高多样性选择得到人类的接受。

    Jan, 2018

  • 科学出版物分类方案中的无监督关键词提取和聚类

    本文研究如何使用自动化方法提取科学文献中的关键词和短语，包括集成评分、语义网络和聚类等技术，并在 “可解释的人工智能” 领域的文献数据集上进行了评估。结果表明，集成评分可以提高关键词提取性能，基于 ConceptNet 语义网络的词嵌入具有类似于上下文化词嵌入的性能，但前者计算效率更高。最后，以术语为级别的语义关键词聚类可以将相似的术语组合在一起，适合用于构建分类方案。

    Jan, 2021

  • 基于跨度特征表示的关键短语提取

    该论文提出了一种新颖的 Span Keyphrase Extraction 模型，能够直接从所有内容令牌中提取以跨度为基础的关键短语的特征表示，并进一步学习捕捉单个文档中关键短语之间的交互，以获得更好的排序结果。

    Feb, 2020

  • 利用词嵌入和领域知识为科学摘要加入文献引用语境

    提出了一种使用分布式单词表示和领域知识从参考论文中提取适当上下文的无监督模型，评估结果表明其明显优于现有技术，并且还演示了上下文化方法提高科学文章引用摘要的有效性。

    May, 2017

  • 基于上下文词嵌入的临床概念抽取

    本研究提出一个基于领域特定词汇上下文嵌入的临床问题、治疗和测试自动标注临床笔记的模型，使用上下文嵌入模型训练一个双向 LSTM-CRF 模型用于临床概念提取，并在 I2B2 2010 挑战数据集上进行了测试，最终性能优于现有模型 3.4%。

    Oct, 2018

  • 基于查询的长文档关键词提取

    文章讨论了在自然语言处理中，基于 Transformer 的架构会有输入大小的限制问题，但该论文通过将长文档分块并保持全局上下文，以查询定义话题，从而克服了这个问题，开发的系统使用预训练的 BERT 模型并调整它来估计给定文本跨度形成关键短语的概率，实验结果表明，在长文档上，使用查询的较短上下文大小胜过没有查询的较长上下文。

    May, 2022

  • 用于连续句子分类的预训练语言模型

    本文提出一种基于预训练语言模型 (BERT) 的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。

    Sep, 2019