EMNLPOct, 2023

基于预训练序列到序列模型的关键词生成中的模型选择和解码重新思考

PDF
TL;DR通过对模型选择和解码策略的系统分析，本文提出 DeSel 算法，通过对 5 个数据集进行评估，平均提高 4.7% 的语义 F1 得分，为基于预训练语言模型的关键词生成（KPG）领域的深入研究奠定了基础。
keyphrase generationnlpsequence-to-sequencepre-trained language modelsdecoding strategies
发现论文，激发创造
  • 应用通用序列到序列模型实现简单有效的关键词生成

    本研究旨在展示使用 seq2seq 语言模型 BART，在一个简单的训练过程中能够轻松地从文本中生成关键词短语，并在五个基准测试中获得与现有最先进 KPG 系统一样好的实证结果，同时也拥有简单易部署的框架。

    Jan, 2022

  • 利用仅编码器预训练语言模型进行有效关键词生成

    该研究探讨了仅具有编码器的预训练语言模型在关键词生成中的应用，研究了优化架构决策以及对资源设置进行性能比较的效果。研究发现，使用仅具有编码器的预训练语言模型进行关键词生成能够广泛预测关键词，而使用前缀语言模型对编码器进行微调则是一种强大且高效的策略。该研究对推动关键词生成系统的发展提供了有价值的见解，并为未来的研究方法奠定了基础。

    Feb, 2024

  • 预训练语言模型用于关键词生成的彻底实证研究

    本文深入研究了基于预训练语言模型（PLMs）的关键短语抽取和生成的设计选择及其表现，发现在领域内使用类 BERT 的 PLMs 可以用于构建强大且数据有效的关键短语生成模型。而在固定参数预算的情况下，将模型深度优先于模型宽度，将更多的层分配给编码器，能够带来更好的编码器 - 解码器模型的表现。同时，在引入四个领域内的 PLMs 后，本文在新闻领域中实现了有竞争力的表现，在科学领域中实现了最先进的表现。

    Dec, 2022

  • 神经关键词生成：分析与评估

    本文研究了三种强大的编码 - 解码模型 (T5、 CatSeq-Transformer 和 ExHiRD) 的性能和行为，分析了预测置信度得分、模型校准和密钥短语生成的令牌位置对其的影响，提出了一个新的度量框架 SoftKeyScore。结果表明，相比于标准的 F1 指标，SoftKeyScore 更适合用于评估两组给定关键词。

    Apr, 2023

  • 神经关键词生成的实证研究

    本文通过实证研究和数据分析，对神经关键词生成（KPG）任务中的不同模型设计和相关因素对其泛化性能的影响进行了全面的比较，旨在为澄清 KPG 任务的一些不确定性，促进未来的相关研究提供帮助。

    Sep, 2020

  • 领域自适应关键词生成的从一般到特定的转移标注

    本文提出了一种通过使用一种数据有效的三阶段流程来训练关键短语生成（KPG）模型的方法，从而解决大型分布位移对不同领域 KPG 模型之间的转移性造成的严重障碍问题，并获得了在新领域中产生良好质量关键短语的结果。

    Aug, 2022

  • 使用预训练语言模型进行关键短语预测

    通过将关键短语预测分为现有关键短语提取与不存在关键短语生成两个子任务，并提出使用 BERT 在这两个子任务中实现联合推论的方法，本研究提供了一种全面利用提取和生成方法各自优势的方法，并在基准数据集上实现了最新的预测结果。

    Apr, 2020

  • One2Set：生成关键词集合的多样性关键词生成模型

    本研究提出一种新的训练模式 One2Set 及利用对一组特定控制码的应用实现并行生成关键词集的新型模型，同时通过二分图匹配的 $k$-step 目标分配机制增加关键词生成的多样性和降低重复率，实验结果表明本方法显著优于现有最优方法。

    May, 2021

  • 深度关键词生成

    本研究提出了一种基于编码 - 解码框架的生成模型来预测文本的关键短语，从而能够有效地捕捉其深层语义含义，并能够识别没有在文本中出现但基于语义意义的内容。

    Apr, 2017

  • 深度关键词生成的独家分层解码

    提出了一种基于层次解码的独家框架，包括层次解码过程和软性或硬性排除机制，可以有效地生成准确且不重复的关键词组合。

    Apr, 2020