Mar, 2018

ROUGE 2.0: 更新和改进的自动文摘任务评估指标

PDF
TL;DR介绍 ROUGE2.0 对机器生成的摘要的自动评估方法，包括 ROUGE-N + 同义词、ROUGE-Topic、ROUGE-Topic + 同义词、ROUGE-TopicUniq 和 ROUGE-TopicUniq + 同义词等几种改进的 ROUGE 指标，用于改善原有指标在捕捉同义概念和内容覆盖方面的局限性。
发现论文，激发创造
  • 文本摘要中评价的重评估

    本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

    Oct, 2020

  • 重温科技论文摘要评估

    本篇论文专门研究了用于科技文章摘要的评估度量，对 ROUGE 的效果进行广泛分析，发现 ROUGE 不太可靠，提出了 SERA 作为科技文章摘要评估的一种有效指标。

    Apr, 2016

  • 利用词嵌入进行 ROUGE 更好的摘要评估

    本文探讨了借助 Word Embedding 计算摘要中的语义相似度来代替传统的基于词汇重叠度的 ROUGE 自动评估方法存在的偏差，实验结果显示该方法比传统方法更能准确地与人工评估结果相符。

    Aug, 2015

  • ROUGE-K：您的摘要是否含有关键词？

    我们提出了一种关键词取向的评估指标 ——ROUGE-K，该指标通过定量回答 “摘要中是否包含关键词” 这个问题来评估自动摘要模型是否包含有信息性的单词。通过这种关键词感知的度量方法，我们令人惊讶地发现，当前的一个强基准模型在摘要中常常会遗漏重要信息。我们的分析揭示了人工注释者确实认为包含更多关键词的摘要与源文档更相关。最后，为了增加关键词的包含，我们提出了四种将词重要性融入基于变换器的模型的方法，并通过实验证明这样做可以在保持总体质量的同时引导模型包含更多关键词。

    Mar, 2024

  • 基于多参考的重复感知增益评估的提取式摘要

    通过提出一个考虑冗余问题的新 Sem-nCG 度量方法，可以用于对模型生成摘要进行多重参考评估，并在单一和多参考模型场景中与人类判断更高相关性。

    Aug, 2023

  • 答案联合！增强摘要模型的无监督度量

    使用强化学习的抽象化概括方法已经被提出来克服传统极大似然估计的限制，提出了一些使用问题回答作为替代评价指标的模型，并在人工和自动评价指标上取得了较大的提升。

    Sep, 2019

  • 朝向神经语言评估器

    该研究回顾了 BLEU 和 ROUGE 两种不足，并提出了衡量文本摘要的好指标需要具备的标准以及使用最近的基于 Transformers 的语言模型来评估参考摘要与假设摘要的具体方法。

    Sep, 2019

  • 重新审视自动摘要评估指标的系统层面相关性

    本文探讨了自动文摘评估指标能够准确复制人类总结质量判断的可靠性，并提出了对现有评估体系的变更，以改善两个方面的偏差，这两个方面分别是评估指标使用的方法与实际评估系统的方式不一致，以及通过只计算小得分差距的系统之间的相关性来计算相关性。通过此研究，提出了收集更多高质量的人类判断和在系统得分差距小的情况下改进自动评估指标的必要性。

    Apr, 2022

  • 基于 RL 的句子摘要中语法蕴含的质量

    本文比较了强化学习（RL）和基于句法的模型（如基于词性标注和依存信息的模型）两种文摘方法的优劣，并探究了它们在生成摘要时的影响，得出了使用两种方法的联合模型在质量评估方面表现最佳，但仅使用强化学习的训练无需更少的参数和更快的训练收敛即可得到与基于句法模型相近的好结果。

    Dec, 2019

  • 自动新闻摘要

    本研究论文针对新闻文本自动摘要的抽取和生成方法进行了广泛的比较评估，重点分析了 ROUGE 分数。研究使用 CNN-Daily Mail 数据集，包括新闻文章和人工生成的参考摘要。通过 ROUGE 分数评估生成摘要的效果和质量，再将表现最佳的模型整合到 Web 应用程序中，评估其在真实世界中的能力和用户体验。

    Oct, 2023