通过对领域之间的文本进行预训练和微调，我们探索了抽象文本摘要模型在关键词选择任务中的效果，并发现在样本数量有限的情况下，领域间的转移学习可以提高模型性能。

Dec, 2023

本文提出了一种名为 KPDrop 的模型无关方法来提高缺失关键短语的生成，测试结果表明它可以在监督和资源受限的半监督设置中持续改善强基线的缺失性能。

Dec, 2021

本研究测试了四个基准数据集，使用流行的基于 Transformer 的模型进行抽象文本摘要，以实现关键词提取的目的，并将结果与常见无监督和有监督方法进行比较。研究结果表明，这些摘要模型非常有效地生成关键词，但它们产生的大量单词都不在作者的关键词列表中，这使得摘要模型在 ROUGE-1 方面效果不佳。此外，对于几种排序策略进行调查的结果表明，策略的选择会影响关键词生成的性能。

Sep, 2022

本文研究了三种强大的编码 - 解码模型 (T5、 CatSeq-Transformer 和 ExHiRD) 的性能和行为，分析了预测置信度得分、模型校准和密钥短语生成的令牌位置对其的影响，提出了一个新的度量框架 SoftKeyScore。结果表明，相比于标准的 F1 指标，SoftKeyScore 更适合用于评估两组给定关键词。

Apr, 2023

本文研究如何训练针对文本文档中关键短语的任务特定语言模型，通过使用不同的掩码策略在区分性和生成性环境下对预训练变压器语言模型进行实验，并提出新的预训练目标 - 关键短语边界填充替换（KBIR），用于关键短语提取，与现有最佳方法相比，能够提高 8.16 个 F1 分数；此外，还提出了适用于 BART 的新的预训练设置 - KeyBART，能够在 CatSeq 格式中重现与输入文本相关的关键短语，用于关键短语生成，并能比现有最佳方法提高 4.33 个 F1M 分数。最后，对预训练语言模型进行细微调整，用于命名实体识别，问答，关系抽取，编写摘要等，达到了与现有最佳方法可比的性能，表明学习关键短语的丰富表达对于许多其他基础的自然语言处理任务是有益的。

Dec, 2021

通过考虑关键短语字符串作为标题和摘要的抽象摘要，探索了生成科学文章 keyphrases 的可能性。尽管使用了先进的深度学习模型和海量数据，但我们对四个测试数据集的系统评估表明，探索的文本摘要方法不能产生比更简单的无监督方法或现有的监督方法更好的 keyphrases。

Mar, 2019

通过将关键短语预测分为现有关键短语提取与不存在关键短语生成两个子任务，并提出使用 BERT 在这两个子任务中实现联合推论的方法，本研究提供了一种全面利用提取和生成方法各自优势的方法，并在基准数据集上实现了最新的预测结果。

Apr, 2020

本文讨论了神经关键词生成模型的实用性及其对信息检索的影响，引入了一种细分的分类方案，证明只有关键词中的很少一部分起到了文档扩展的作用，但这一小部分却是检索有效性提高的主要原因。同时，提出的方案可以作为一种新的角度来评估神经关键词生成模型的输出。

Mar, 2021

本文提出了一种名为 AutoKeyGen 的关键词生成新方法，利用语料库中的短语库和部分匹配过程来确定文档中缺少的关键词，然后利用这些关键词训练一个深度生成模型，该方法在大量实验中表现优异，甚至能够在某些情况下击败强监督方法。

Apr, 2021

本文介绍了一种基于 Select-Guide-Generate (SGG) 方法的关键词生成模型，它能够明确区分文档中的现有关键词和非现有关键词。实验结果表明，它在关键词生成任务中的表现优于其他模型，并且能够扩展到标题生成任务。

May, 2021