ACLFeb, 2024

基于微调的抽象摘要模型的实体级事实可适应性

PDF
TL;DR通过分析对知识冲突的鲁棒性，本文研究了基于微调的抽象概括模型，发现并引入了一种可控的反事实数据增广方法来增强事实适应性，并在两种预训练语言模型（PEGASUS 和 BART）以及两个微调数据集（XSum 和 CNN/DailyMail）上实验证明，该方法在实现原始数据集上的事实一致性的同时提高了事实适应性。
发现论文，激发创造
  • 提高抽象摘要的事实性而不牺牲摘要质量

    本文提出了一种名为 EFACTSUM 的候选摘要生成和排名技术，旨在在不牺牲摘要质量的前提下提高摘要的事实性。通过使用对比学习框架并结合两个度量，训练出的模型在 XSUM 和 CNN / DM 上相对于基本模型均有显著的事实性和相似性改进。

    May, 2023

  • 提高抽象摘要的事实一致性

    文章提出了一种基于事实感知的自动摘要模型 FASum，通过图注意力来提取和整合摘要生成过程中的事实关系，并设计了一个名为 FC 的事实校正模型来自动纠正现有系统生成摘要中的事实错误。实证结果表明，基于事实感知的自动摘要可以生成具有更高事实一致性的抽象摘要，并且纠错模型通过只修改少量关键词就可以提高给定摘要的事实一致性。

    Mar, 2020

  • CONFIT：基于语言学对比微调的忠实对话摘要

    通过 ConFiT 训练方法及一系列的模块化目标来改善抽象型对话摘要的事实准确性，最终生成的摘要数据质量得到了显著提高。

    Dec, 2021

  • 评估抽象文本摘要的事实一致性

    该研究提出了一种弱监督、基于模型的方法来验证摘要的事实一致性，并鉴别来源文献和生成的摘要之间的冲突。

    Oct, 2019

  • 通过问答提高摘要生成的事实一致性

    本文提出了一种解决摘要生成模型中可能存在错误信息的方法，策略包括评估指标度量、新型学习算法、人工评估等，并通过大量实验证明该方法对提高信息事实准确性和提高摘要整体质量都非常有效。

    May, 2021

  • 抽象文本摘要的实体级事实一致性

    提出了一种新的度量生成摘要与原文事实一致性的方法，并展示了通过简单的过滤训练数据可减少实体幻觉问题。此外，还提出了一个摘要值得关注的实体分类任务及联合实体和摘要生成方法，并在实体层面的指标上得到了进一步的改进。

    Feb, 2021

  • 主题摘要中的细粒度事实注释及建模

    研究表明，目前预训练的抽象摘要系统在性能上已经取得了可信的表现，但其输出的摘要常常与输入不符合并存在事实错误。作者探讨了综合和人工标注数据，用于训练模型来识别摘要中的事实错误，并研究了单词、依赖和句子级别的事实性。通过对多个数据集的实验观察，作者认为人工标注的细粒度数据提供了更有效的训练信号，并证明了他们的最佳事实性检测模型能够识别训练数据中的非事实标记，从而使得训练更为准确的抽象摘要模型成为可能。

    Apr, 2021

  • 为生成事实一致的文本摘要进行反事实去偏置

    本研究提出了一种名为 CoFactSum 的去偏见框架，通过反事实估计，减轻了生成摘要时的语言偏见和不相关偏见的影响，并使用动态的偏差度调整机制。实验结果表明，与几种基线方法相比，CoFactSum 在提高生成的摘要的事实一致性方面具有显著效果。

    May, 2023

  • 反事实数据增强改进抽象摘要的真实性

    该文章介绍了一种基于对抗数据增广的方法，用于提高 Abstractive summarization system 的 factual correctness, 相关方法包括将同一或不同类别的实体或名词的 WordNet hypernyms 进行替换，实验证明，使用我们的方法对 CNN/Dailymail 和 XSum 等数据集进行训练，可将 factual correctness 平均提高约 2.5 个点。

    May, 2022

  • 抽象文本摘要中的事实不一致问题：一项调查

    研究表明，使用神经编码器 - 解码器模型等抽象方法能够更好的进行生成摘要，但是由于摘要的抽象性较高，导致文章中存在失真和伪造的问题，因此当前的研究主要集中在设计新的评估算法和开发新的摘要系统以解决这一问题。本文综合评述了这些基于事实的评估方法和文本摘要模型。

    Apr, 2021