多元观点的公平抽象摘要
通过介绍多个方面的多样性,包括意见、注释者和来源,评估了目前在关键点分析任务中表现欠佳的高层次论证总结方法,并发现通用 LLM 和专用 KPA 模型在处理数据来源、代表少数人的论点和人类提供的主观性方面存在互补的优势,观察到多样化的训练数据可能改善泛化能力,因此解决论证总结中的多样性问题需要采取多种策略以应对主观性。
Feb, 2024
对社交媒体数据进行多源文档摘要的时候,用于优化摘要质量的模型往往侧重于流畅性、相关性和连贯性等方面,但摘要模型对不同社会群体意见的公正性也显得越来越重要。我们深入探讨了位置偏见在社交媒体多源文档摘要中的影响,通过分析输入文档中群组顺序对非裔美国英语、西班牙语及白人英语族群的推文进行摘要。实证分析结果显示,尽管文本摘要的质量在不考虑输入文档顺序时保持稳定,但公正性方面的结果会因方言群体在输入数据中的呈现方式而产生显著差异。我们的结果表明,位置偏见在社交媒体多源文档摘要中呈现不同,严重影响了摘要模型的公正性。
May, 2024
本文探讨了利用基于事实一致性评估模型的数据过滤和控制生成两种方法来改善跨语言自动摘要的结果,针对语义幻觉生成的问题在提高多语言自动摘要性能方面取得了较好的结果。
Dec, 2022
本研究提出一种新方法,通过生成多个变体的目标摘要,这些摘要具有不同的内容和不同的长度,并根据用户的需要进行评分和选择,该方法可用于控制摘要长度,从而实现最佳的信息概括,保证真实性并确保流畅。
Apr, 2021
在多篇文档新闻摘要研究中,以往研究通常集中于整合各个来源都同意的信息。然而,据我们所知,以往尚未研究过涉及同一事件的多篇文章中分散的多样信息的摘要。后者为摘要模型提出了一组不同的挑战。在本文中,我们提出了一个新任务,即摘要涉及同一事件的多篇新闻文章中的多样信息。为了完成这项任务,我们确定了一个用于识别多样信息的数据收集模式,并创建了一个名为 DiverseSumm 的数据集。该数据集包含 245 个新闻故事,每个故事包括 10 篇新闻文章,并配有人工验证的参考摘要。此外,我们进行了全面的分析,以确定基于大型语言模型(LLM)的度量标准在评估摘要的全面性和忠实度时存在的位置和冗长偏差,以及它们与人工评估的相关性。我们应用我们的发现来研究 LLMs 如何通过分析 LLMs 能够识别哪种类型的多样信息来摘要多篇新闻文章。我们的分析表明,尽管 LLMs 在单篇文档摘要方面具有非凡的能力,但对于他们来说,所提出的任务仍然是一个复杂的挑战,主要是由于他们的覆盖范围有限,GPT-4 只能够平均覆盖不到 40% 的多样信息。
Sep, 2023
本文研究从立场相似度和立场多样性两个方面对 COVID-19 相关的三个争议性话题进行分析,考察了 BART 和 ChatGPT 两种语言模型对于文本中多样化观点的覆盖能力和相似立场的关系。实验结果显示,观点相似度较高并不代表着能充分呈现文本中观点的多样性。
Jun, 2023
本文提出了一种名为 EFACTSUM 的候选摘要生成和排名技术,旨在在不牺牲摘要质量的前提下提高摘要的事实性。通过使用对比学习框架并结合两个度量,训练出的模型在 XSUM 和 CNN / DM 上相对于基本模型均有显著的事实性和相似性改进。
May, 2023
文章提出了一种基于事实感知的自动摘要模型 FASum,通过图注意力来提取和整合摘要生成过程中的事实关系,并设计了一个名为 FC 的事实校正模型来自动纠正现有系统生成摘要中的事实错误。实证结果表明,基于事实感知的自动摘要可以生成具有更高事实一致性的抽象摘要,并且纠错模型通过只修改少量关键词就可以提高给定摘要的事实一致性。
Mar, 2020
在社交媒体如此发达的时代,我们提出了一个新的流程,其中部分自动化事实检查的生命周期可以节省人力和高认知任务。我们的方法是利用抽象摘要生成简洁的查询,这些查询可以在基于现有已核查实事的数据集的检索系统中执行。通过使用现有的摘要模型进行微调和开箱既食的摘要模型,我们获得了具有更好的检索表现,检索准确率提高了 3 倍,而基于原文查询的准确率仅为 10%。
Sep, 2022