ACLJun, 2021

一种无需训练和参考的摘要评估度量方法：基于中心性加权相关性和自我引用冗余度量

PDF
TL;DR该论文提出了一种无需参考文献且无需训练的摘要评估度量方法，包括中心性加权相关度分数和自我参考冗余分数。实验结果表明，该方法在单篇和多篇文档摘要评估方面显著优于现有方法。
发现论文，激发创造
  • 通过对比学习无监督无参考摘要质量评估

    本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。

    Oct, 2020

  • 基于多参考的重复感知增益评估的提取式摘要

    通过提出一个考虑冗余问题的新 Sem-nCG 度量方法，可以用于对模型生成摘要进行多重参考评估，并在单一和多参考模型场景中与人类判断更高相关性。

    Aug, 2023

  • SUPERT：面向多文档摘要的无监督评估指标的新领域

    该研究提供了一种新的评价未经监督的多文档摘要技术的方法，使用上下文化嵌入和软标记对齐技术对其语义相似性进行评估，并提出了一个可用于引导深度学习模型的奖励函数，其在性能上优于现有的未监督摘要模型。

    May, 2020

  • 朝向可解释和高效的基于参考文献的自动文摘评估

    本研究旨在开发两种不同的自动评估测量标准来评价文本摘要的质量，其中包括两种可以在单元级别和总结级别上提供高可解释性的两阶段测量标准和一种在效率和互操作性之间取得平衡的一阶段测量标准。同时，我们开发的工具已经通过 Python 软件包和 GitHub 免费提供给公众。

    Mar, 2023

  • 无监督摘要的句子重要性再探讨

    本文提出了一种针对新闻摘要自动提取的无监督方法，该方法采用神经网络模型并结合基于图论的排名算法，使用 BERT 模型来更好地捕获句子意义，显著超过强基线的效果。

    Jun, 2019

  • 基于交叉编码器的综合摘要质量评估指标 SummScore

    提出了一种综合的衡量文本摘要质量的度量标准 SummScore，使用 CrossEncoder 作为基础模型，并采用四个精细化的子模型来分别衡量连贯性、一致性、流畅度和相关性，并在极度受限的标注数据上进行半监督多轮训练，显著优于现有的评估指标。

    Jul, 2022

  • HighRES：基于重点提取的无参考自动文摘评价

    该研究提出了一种由多个评注者对原始文档进行手动评估的新方法，称为基于高亮参考的摘要评估（HighRES），可用于评估多个系统的摘要内容，并说明其相对于其他评估方法具有更好的评注者间一致性，并能够突显其他评估方法忽略的系统差异。

    Jun, 2019

  • 以问答形式作为自动度量指标，评估摘要的内容质量

    提出一种基于问答的评估度量标准（QAEval）来评估摘要的内容质量，通过分析 QAEval，证明 QA-based methods 相较于传统的基于文本内部匹配的度量标准（如 ROUGE）更加准确。

    Oct, 2020

  • 能量排名提升抽象化摘要

    本文提出了一种基于能量的模型，利用自动评估指标和重排机制对生成的摘要进行排序，以解决当前抽象摘要系统存在的问题。我们的实验结果表明，这种方式可以提高生成摘要的得分，但对高度抽象的摘要的应用要小心，因为现有的指标还不足够可靠。

    Oct, 2022

  • 利用点互信息的非监督式抽取式摘要

    通过使用点间互信息（PMI）计算相关性和冗余度量来提高提取性摘要，同时开展贪婪句子选择算法以最大化提取的句子的相关性和最小化冗余度。

    Feb, 2021