本文针对现有的缺陷和问题，提出了五个维度的解决方案，从而能够扩大文本摘要的评估标准，并且进一步研究出与人类判断更加相关的评价指标。

Jul, 2020

本文讨论了人工评价与自动评价在文本摘要中的应用，并提出了评价指标间的差异和相关性。研究发现评价指标的互相协议性取决于摘要的得分范围、摘要易于摘要的程度、摘要抽象程度和覆盖范围等方面。

Nov, 2020

基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

Jun, 2024

本文旨在系统评估英语汇总评估方法在其他语言下的效力，并通过对八种不同语言的汇总语料库进行人工注释和 19 种汇总评估指标的评估，发现使用多语言 BERT 作为 BERTScore 的评估方法在所有语言下均表现出良好的效果，超过了英文水平。

Jun, 2021

该论文提出了一种无需参考文献且无需训练的摘要评估度量方法，包括中心性加权相关度分数和自我参考冗余分数。实验结果表明，该方法在单篇和多篇文档摘要评估方面显著优于现有方法。

Jun, 2021

本文采用系统性和深入分析方法，分析了 5 种最先进的神经代码自动摘要模型在 6 种广泛使用的 BLEU 变量、4 种预处理操作及其组合以及 3 种广泛使用的数据集上的评估结果，发现评估代码摘要模型的三个主要因素 ——BLEU 评估指标、代码预处理选择和数据集特征 —— 对模型的性能和排名有重要影响。文章提出了可行建议来评估代码自动摘要和在不同情景下选择最佳方法，并建立了一个共享代码自动摘要工具箱促进未来研究。

Jul, 2021

本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。

Oct, 2020

本文提出了一种半自动到全自动的摘要评估方法，包括使用自然语言推理模型替代手动评价 Summary Content Units（SCUs）在系统摘要中的存在，并使用 语义角色标注模型自动提取 Semantic Triplet Units（STUs）来替代 SCUs，同时提出了 Lite2.xPyramid 作为中间度量方法，其使用简单的回归器来预测 STUs 如何模拟 SCUs，并保留更难以模拟的 SCUs。其中 Lite2Pyramid 在摘要级别的相关性方面表现最佳，Lite3Pyramid 在自动评估方面效果更好，Lite2.xPyramid 则为自动评估和手动评估提供了平衡。

Sep, 2021

本文介绍了自动评估摘要连贯性的意义，通过介绍不同的模型来建立摘要连贯性，并且引入了两种新的分析度量，即内部系统相关性和偏差矩阵，利用它们可以识别出一些偏见，并提供对系统级混淆的鲁棒性。虽然目前可用的自动连贯度量不能对所有评价指标的系统摘要分配可靠的连贯度得分，但是大型自然语言模型在自我监督任务上进行微调，表现出良好的结果，只要微调考虑到它们需要跨不同的摘要长度进行泛化即可。

Sep, 2022

该研究提供了一种新的评价未经监督的多文档摘要技术的方法，使用上下文化嵌入和软标记对齐技术对其语义相似性进行评估，并提出了一个可用于引导深度学习模型的奖励函数，其在性能上优于现有的未监督摘要模型。

May, 2020