本文重新审视了用于复述评估的自动评估度量，并得出两个违背常规智慧的发现：(1) 无参考度量比基于参考文本的度量具有更好的性能。 (2) 人类注释与使用最多的度量不太相符。通过额外的实验证明和深入的分析探讨了上述发现背后的原因。 基于实验和分析，我们提出了 ParaScore，这是一种新的复述生成评估指标。它具有基于参考的和无参考的指标的优点，并明确地建模词汇差异。实验结果证明，ParaScore 显着优于现有的指标。

Feb, 2022

本文研究了三种强大的编码 - 解码模型 (T5、 CatSeq-Transformer 和 ExHiRD) 的性能和行为，分析了预测置信度得分、模型校准和密钥短语生成的令牌位置对其的影响，提出了一个新的度量框架 SoftKeyScore。结果表明，相比于标准的 F1 指标，SoftKeyScore 更适合用于评估两组给定关键词。

Apr, 2023

本文证明了 Sequence-to-sequence 模型可以显著提高文档检索性能，并介绍了一种新的外在评估框架，以更好地理解生成关键词模型的局限性，包括文档补充中所遇到的困难和模型在不同领域中的一般化问题。

Jun, 2021

传统的关键词预测方法无法满足用户和相关应用的多样需求，本文引入按需关键词生成，提出 MetaKP 基准和监督、非监督方法，通过大型语言模型的自一致性提示方法，在 NLP 基础设施中改进关键词生成性能，并在社交媒体上的疫情事件检测中展示了其潜力。

Jun, 2024

本文提出了一种名为 KIEMP 的新方法，该方法使用端到端多任务学习模型，从多个方面综合评估关键词的重要性，包括其句法准确性、信息显著性和概念一致性，并在六个基准数据集上验证了其优于现有技术的性能。

Oct, 2021

本研究提出了一种新的度量模型 KPQA-metric，通过关键词预测为不同的令牌分配不同的权重评估生成的回答，用于评估生成式问答系统的正确性，并通过人类评估数据集表明，KPQA-metric 与现有度量模型具有更高的相关性。

May, 2020

通过语言技术平台，本文提出了一种计算方法，用于评估基于参考翻译并结合语义依赖和句子关键词信息的机器翻译的语义正确性，并通过实验证明与类似方法相比，该评估算法的准确性得到了提高，能更准确地测量机器翻译的语义正确性。

Apr, 2024

该研究在使用 BLEU 和 BERTScore 等基于参考文献的指标评估问题生成（QG）时发现，使用人工编写的参考文献不能保证参考文献指标的有效性。作者提出了一种基于自由参考文献的多维度标准的度量方法，通过利用大型语言模型来评估问题的自然性、可回答性和复杂性，该度量方法不受单个参考问题的句法或语义限制，也不需要多样化的参考文献集合。实验证明，该度量方法能够准确区分高质量问题和有缺陷的问题，并与人类判断达到最先进的一致性。

Mar, 2024

我们提出了一个简单的对比学习框架 SimCKP，它由两个阶段组成：1）一个提取器 - 生成器，通过对比学习的方式学习上下文感知的短语级表示，同时生成不出现在文档中的关键短语；2）一个重新排序器，通过将生成的短语的表示与相应的文档对齐来调整每个短语的得分。在多个基准数据集上的实验结果证明了我们提出的方法的有效性，其性能明显优于现有的模型。

Oct, 2023

本文提出了一种新的端到端学习框架 UniKeyphrase，通过堆叠关系层和词袋约束来充分利用模型结构和训练过程中的潜在语义关系，能够更好地预测关键短语，实验结果表明，这种联合方法在关键短语预测上比主流方法表现更好。

Jun, 2021