Oct, 2023

OpinSummEval: 重新审视舆情摘要自动评估

PDF
TL;DR观点总结与其他类型的总结任务有所不同，因为其独特关注于方面和情感。本文介绍了 OpinSummEval，它是一个包含人工评价和 14 个观点总结模型输出的数据集。我们进一步探讨了 24 个自动评估指标与人工评分之间在四个维度上的相关性。结果表明，基于神经网络的指标通常优于非神经网络的指标。然而，即使是构建在强大的模型基础之上，如 BART 和 GPT-3/3.5，也不能在所有维度上一致地与人工评分相关，凸显了观点总结自动评估方法的进步需求。代码和数据可在此 URL 公开获取。
发现论文，激发创造
  • SummEval: 重评摘要评估

    本文针对现有的缺陷和问题，提出了五个维度的解决方案，从而能够扩大文本摘要的评估标准，并且进一步研究出与人类判断更加相关的评价指标。

    Jul, 2020

  • 文本摘要中评价的重评估

    本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

    Oct, 2020

  • 自动评估观点总结中的观点普遍性

    面对大量的产品评论，我们提出了一种自动度量标准来测试摘要表达的观点普遍性，基于统计与摘要中每个陈述一致的评论数量，同时贬低琐碎或冗余的陈述。通过使用所得到的观点普遍性度量标准，我们展示了人工撰写的摘要仅比随机选取的源评论摘录稍微具有更好的观点普遍性，并且之前的抽取式和抽象式无监督观点摘要方法比人工表现更差。我们展示了通过贪婪构建抽取摘要可以改进，达到了两倍于人工的观点普遍性。最后，我们展示了通过简化源评论的预处理可将现有的抽象观点摘要系统的观点普遍性提高到人工表现水平。

    Jul, 2023

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • 收集意见：方面提取会见情感预测，并且它们均受弱监督

    文中介绍了一种从在线产品评论中进行意见摘要的神经框架，该方法是知识瘦身的，只需要轻量级的监督，包括产品领域标签和用户提供的评分。方法结合了两个弱监督组件（一个偏向提取器和一个基于多实例学习的情感预测器），从多个评论中识别显著观点并形成提取式摘要。研究介绍了包括六个不同领域的产品评论的训练集以及具有黄金标准方面注释、显著标签和意见摘要的人工注释开发和测试集的意见摘要数据集。自动评估显示该方法相对于基线的显著改进，大规模研究表明根据多个标准，人类评判员更喜欢该方法的意见摘要。

    Aug, 2018

  • 你熟悉哪些摘要数据集？

    本研究手动分析了三个流行的摘要数据集中的 600 份样本，并对 27 个最先进的摘要模型和 5 个流行的度量标准进行了彻底分析。 研究揭示出数据集具有不同的数据质量和复杂度分布，对样本复杂度强烈依赖，以及基于引用文本的质量差异导致真实摘要得分偏低等关键见解。

    Jun, 2021

  • 文本摘要质量评估方法的比较研究

    基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

    Jun, 2024

  • 大规模多角度意见总结与多样化评论子集

    本研究提出了 SUBSUMM，一种用于大规模多角度意见摘要的监督式摘要框架，实验证明该框架能够从数百个输入的评论中生成正面、负面和结论性摘要，并且深度分析表明评论子集的先进选择和两阶段训练方案对提高摘要性能至关重要。

    Oct, 2023

  • 信息丰富且可控的观点摘要

    本文提出了一种摘要框架，通过将目标的所有评论压缩为多个密集向量以代替传统的前置筛选步骤，从而最大化地保留所有信息，进而生成更具信息量的摘要，并且采用零样本技术，能够有效地生成根据用户需求定制的摘要，实验结果表明了该模型在 Rotten Tomatoes 数据集上的优越性能。

    Sep, 2019

  • 面向 facet 的提取式摘要评估

    本文旨在为提高文本摘要信息覆盖性的评估提供一个新的基于 Facet 的评估方式，通过构建 CNN / Daily Mail 数据集的提取版本，在量化研究中证明，相对于 ROUGE，facet-aware 评估更好地与人类判断相关，能够实现细粒度评估和比较分析，并揭示了最先进的摘要方法的有价值的见解。

    Aug, 2019