提出了一种用于三种摘要评估方案的统一多方案摘要评估模型（UMSE），其中使用扰动前缀调整方法来共享不同方案之间的信息，通过自监督训练偏向优化统一模型。在常见的标准数据集 SummEval 上进行的实验结果表明，UMSE 的性能可以与专门针对每种情况进行设计的现有强方法相媲美。

May, 2023

本研究旨在开发两种不同的自动评估测量标准来评价文本摘要的质量，其中包括两种可以在单元级别和总结级别上提供高可解释性的两阶段测量标准和一种在效率和互操作性之间取得平衡的一阶段测量标准。同时，我们开发的工具已经通过 Python 软件包和 GitHub 免费提供给公众。

Mar, 2023

提出了一种使用分布式单词表示和领域知识从参考论文中提取适当上下文的无监督模型，评估结果表明其明显优于现有技术，并且还演示了上下文化方法提高科学文章引用摘要的有效性。

May, 2017

使用信息检索中的技术，我们提出了 RISE 方法，可自动评估生成的文本摘要在不需要参考摘要的情况下。在 SummEval 基准测试和跨语言数据集实验中，RISE 表现出更高的人类相关性和数据效率，可视为一种有效的自动化评估摘要方法。

Dec, 2022

本文研究评估文本生成系统的评价指标，提出了基于语义而非形式的指标 MoverScore，并通过多项任务的验证表明采用上下文表示和距离测度相结合的方法可以取得最佳表现，该指标具有较强的泛化能力，并已提供 Web 服务方便使用。

Sep, 2019

我们提出了一种新颖的基于图形的框架，用于摘要会议演讲，完全不需要监督和任何注释。我们的工作结合了多种最近的方法的优点，同时解决了它们的弱点。此外，我们利用最近在 NLP 中应用的字嵌入和图形退化的进展，考虑外部语义知识，并设计了自定义的多样性和信息量度量。在 AMI 和 ICSI 语料库上的实验表明，我们的系统改进了现有技术水平。代码和数据可公开获取，我们的系统可以交互式测试。

May, 2018

该研究提出了一种由多个评注者对原始文档进行手动评估的新方法，称为基于高亮参考的摘要评估（HighRES），可用于评估多个系统的摘要内容，并说明其相对于其他评估方法具有更好的评注者间一致性，并能够突显其他评估方法忽略的系统差异。

Jun, 2019

SUMIE 是一个完全合成的数据集，用于暴露现实世界的增量实体摘要挑战，验证了生成的摘要与段落之间的高质量一致性，该数据集难度高，先进的语言模型在更新摘要时的 F1 得分超过 80.4%。

Jun, 2024

个性化摘要模型研究了人们对要点的个人理解，通过他们的阅读历史和当前关注的主题进行表示。本文挑战了精度排行榜的必要性，并提出了一个新的度量指标 PerSEval，用于评估个性化文本摘要的程度。然后，通过在 PENS 数据集上对最新的十个摘要模型进行基准测试，我们验证了 PerSEval 的可靠性和可独立使用的特性。

Jun, 2024

本文提出 VideoSET，一种通过文本评估视频摘要的方法，该方法可以评估视频摘要能否保留其原始视频中包含的语义信息。我们观察到语义最容易用文字来表达，因此开发了一种基于文本的评估方法。通过生成视频摘要的文本表示，然后使用基于 NLP 的度量方法来测量其与人类编写的基准文本摘要的语义距离。我们展示了我们的技术与基于像素距离的度量方法相比具有更高的人类判断一致性。我们还发布了一些公开可用的视频数据集的文本注释和基准文本摘要，供计算机视觉社区使用。

Jun, 2014