EMNLPDec, 2023

OpenAsp: 多文档开放式面向方面的摘要评测基准

TL;DR近年来,自动摘要模型的性能有了显著提升,然而在满足实际场景中用户的具体信息需求方面仍存在差距,尤其是在本文中所针对的有用的基于方面的摘要设置中。为了推动更加现实的场景研究,我们引入了 OpenAsp,一个用于多文档开放方面的摘要的基准。该基准使用一种新颖且具有成本效益的注释协议来创建,通过该协议从现有的通用多文档摘要数据集中提取开放方面数据集。我们分析了 OpenAsp 的特性,展示了其高质量的内容,并且证明了 OpenAsp 中实现的现实开放方面设置对于当前最先进的摘要模型和大型语言模型来说是一个挑战。