Sep, 2022

基于 Transformer 的文本摘要技术用于关键词生成

PDF
TL;DR本研究测试了四个基准数据集，使用流行的基于 Transformer 的模型进行抽象文本摘要，以实现关键词提取的目的，并将结果与常见无监督和有监督方法进行比较。研究结果表明，这些摘要模型非常有效地生成关键词，但它们产生的大量单词都不在作者的关键词列表中，这使得摘要模型在 ROUGE-1 方面效果不佳。此外，对于几种排序策略进行调查的结果表明，策略的选择会影响关键词生成的性能。
keyphrase extractionabstractive summarytransformer-based modelsbenchmark datasetstext summarization
发现论文，激发创造
  • 关键短语生成：文本摘要化的挑战

    通过考虑关键短语字符串作为标题和摘要的抽象摘要，探索了生成科学文章 keyphrases 的可能性。尽管使用了先进的深度学习模型和海量数据，但我们对四个测试数据集的系统评估表明，探索的文本摘要方法不能产生比更简单的无监督方法或现有的监督方法更好的 keyphrases。

    Mar, 2019

  • 基于 Transformer 的关键词生成的跨领域鲁棒性

    通过对领域之间的文本进行预训练和微调，我们探索了抽象文本摘要模型在关键词选择任务中的效果，并发现在样本数量有限的情况下，领域间的转移学习可以提高模型性能。

    Dec, 2023

  • 神经关键词生成：分析与评估

    本文研究了三种强大的编码 - 解码模型 (T5、 CatSeq-Transformer 和 ExHiRD) 的性能和行为，分析了预测置信度得分、模型校准和密钥短语生成的令牌位置对其的影响，提出了一个新的度量框架 SoftKeyScore。结果表明，相比于标准的 F1 指标，SoftKeyScore 更适合用于评估两组给定关键词。

    Apr, 2023

  • 深度关键词生成

    本研究提出了一种基于编码 - 解码框架的生成模型来预测文本的关键短语，从而能够有效地捕捉其深层语义含义，并能够识别没有在文本中出现但基于语义意义的内容。

    Apr, 2017

  • 基於 Transformer 語言模型的抽取式和生成式神經文件摘要

    本文采用神经抽象总结的方法来产生长文档的抽象总结，该方法使用一个简单的抽取步骤来生成一个摘要，然后将其用作相关信息的转换器语言模型的条件，然后生成一个摘要。我们展示了这个抽取步骤显著地改善了总结结果，而且这种方法产生的抽象总结比以前采用复制机制的工作能够实现更高的浸润得分。

    Sep, 2019

  • ROUGE-K：您的摘要是否含有关键词？

    我们提出了一种关键词取向的评估指标 ——ROUGE-K，该指标通过定量回答 “摘要中是否包含关键词” 这个问题来评估自动摘要模型是否包含有信息性的单词。通过这种关键词感知的度量方法，我们令人惊讶地发现，当前的一个强基准模型在摘要中常常会遗漏重要信息。我们的分析揭示了人工注释者确实认为包含更多关键词的摘要与源文档更相关。最后，为了增加关键词的包含，我们提出了四种将词重要性融入基于变换器的模型的方法，并通过实验证明这样做可以在保持总体质量的同时引导模型包含更多关键词。

    Mar, 2024

  • 基于 Transformer 的自动文摘实现

    文章旨在利用基于 Transformer 的技术提高文章章节摘要的生成效率和质量。

    Jan, 2023

  • 关键词生成：多方面综述

    该论文综述了关键短语生成的一些方法，重点讨论基于神经网络的较新的抽象方法，同时介绍了过去二十年中关键短语生成和文本摘要的研究趋势。

    Oct, 2019

  • 使用序列标注的关键词提取

    本文提出了一种序列标注方法，将关键短语提取问题变为一个更自然的建模方式，并表明标注模型相比现有最先进的提取方法具有显著的性能优势。

    Aug, 2016

  • 无监督深度关键词生成

    本文提出了一种名为 AutoKeyGen 的关键词生成新方法，利用语料库中的短语库和部分匹配过程来确定文档中缺少的关键词，然后利用这些关键词训练一个深度生成模型，该方法在大量实验中表现优异，甚至能够在某些情况下击败强监督方法。

    Apr, 2021