Mar, 2024

ROUGE-K：您的摘要是否含有关键词？

PDF
TL;DR我们提出了一种关键词取向的评估指标 ——ROUGE-K，该指标通过定量回答 “摘要中是否包含关键词” 这个问题来评估自动摘要模型是否包含有信息性的单词。通过这种关键词感知的度量方法，我们令人惊讶地发现，当前的一个强基准模型在摘要中常常会遗漏重要信息。我们的分析揭示了人工注释者确实认为包含更多关键词的摘要与源文档更相关。最后，为了增加关键词的包含，我们提出了四种将词重要性融入基于变换器的模型的方法，并通过实验证明这样做可以在保持总体质量的同时引导模型包含更多关键词。
keywordsevaluation metricrouge-kbaseline modelword importance
发现论文，激发创造
  • 基于 Transformer 的文本摘要技术用于关键词生成

    本研究测试了四个基准数据集，使用流行的基于 Transformer 的模型进行抽象文本摘要，以实现关键词提取的目的，并将结果与常见无监督和有监督方法进行比较。研究结果表明，这些摘要模型非常有效地生成关键词，但它们产生的大量单词都不在作者的关键词列表中，这使得摘要模型在 ROUGE-1 方面效果不佳。此外，对于几种排序策略进行调查的结果表明，策略的选择会影响关键词生成的性能。

    Sep, 2022

  • 文本摘要中评价的重评估

    本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

    Oct, 2020

  • 重温科技论文摘要评估

    本篇论文专门研究了用于科技文章摘要的评估度量，对 ROUGE 的效果进行广泛分析，发现 ROUGE 不太可靠，提出了 SERA 作为科技文章摘要评估的一种有效指标。

    Apr, 2016

  • 利用词嵌入进行 ROUGE 更好的摘要评估

    本文探讨了借助 Word Embedding 计算摘要中的语义相似度来代替传统的基于词汇重叠度的 ROUGE 自动评估方法存在的偏差，实验结果显示该方法比传统方法更能准确地与人工评估结果相符。

    Aug, 2015

  • ROUGE 2.0: 更新和改进的自动文摘任务评估指标

    介绍 ROUGE2.0 对机器生成的摘要的自动评估方法，包括 ROUGE-N + 同义词、ROUGE-Topic、ROUGE-Topic + 同义词、ROUGE-TopicUniq 和 ROUGE-TopicUniq + 同义词等几种改进的 ROUGE 指标，用于改善原有指标在捕捉同义概念和内容覆盖方面的局限性。

    Mar, 2018

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • 针对韩语文摘的参考文献和文档感知语义评估方法

    本文提出了一种衡量文本摘要的方法，即参考文献和文档感知语义得分（RDASS），用于韩语这种将各种语素组合成表达多种含义的词汇的语言。通过我们的评估指标，可以提高文本概括的人类判断相关性。研究结果表明，我们的评估指标与人类判断的相关性显著高于 ROUGE 得分。

    Apr, 2020

  • 面向主题控制的摘要生成评估和 Transformer 方法

    该研究提出了一种新的主题导向的评估度量方法，用于自动评估生成的摘要与所需主题之间的关联度，并验证了其可靠性，同时提出了将主题嵌入到模型架构中或使用控制标记引导摘要生成的简单而强大的主题可控摘要方法，实验结果表明控制标记比更复杂的嵌入式方法表现更好，并且速度明显更快。

    Jun, 2022

  • WIDAR -- 加权输入文档增强 ROUGE

    提出了一种名为 WIDAR 的度量标准，该度量标准使用参考摘要和输入文档评估生成摘要的质量，并且预计的度量标准与其他最新技术的度量标准的结果相当，同时需要相对较短的计算时间。

    Jan, 2022

  • 提升论点摘要：在关键点生成中优先考虑全面性并引入自动覆盖评估指标

    社交媒体平台的扩散导致了在线辩论和争论的增加，因此迫切需要针对此类辩论的自动摘要方法，然而该领域的研究相对较少。本文介绍了一种新颖的针对关键点生成的抽取性方法，该方法在该任务中优于先前的最先进方法。我们的方法利用一种基于抽取聚类的方法生成简练、高质量的关键点，具有更高的参考摘要覆盖率和较少的冗余输出。此外，我们表明现有的 ROUGE 等摘要评估指标无法区分不同质量的生成关键点，为此，我们提出了一种用于评估生成关键点覆盖率的新评估指标。我们的代码可以在线访问。

    Apr, 2024