Dec, 2023

机器生成摘要的事实错误的零射多标签分类

PDF
TL;DR本研究旨在解决机器生成的文本摘要中存在的事实错误问题，并研究了这些错误对信息可靠性的潜在影响。我们引入了一种基于提示的分类系统，将错误分为四类：误述、数量或衡量不准确、虚假归属和伪造。通过定性判断，我们使用一组参与者对机器生成的摘要与原文进行了评估，并检测事实失真的发生。结果表明，我们基于提示的方法在一定程度上能够检测到摘要中的错误类型，尽管我们的分类系统还有改进空间。
factual inaccuraciesmachine-generated text summariesinformation reliabilityerror categorizationfactual distortions
发现论文，激发创造
  • 理解摘要中的事实错误：错误，摘要生成器，数据集和错误检测器

    研究了摘要系统在制作摘要时出现的事实性错误，并比较了不同技术和数据集上的效果，并取得了一些新的结果：使用预训练模型的现代数据集显示结果显著不同于使用 pre-Transformer 的旧数据集，没有一种技术在所有情况下都是优秀的。

    May, 2022

  • 主题摘要中的细粒度事实注释及建模

    研究表明，目前预训练的抽象摘要系统在性能上已经取得了可信的表现，但其输出的摘要常常与输入不符合并存在事实错误。作者探讨了综合和人工标注数据，用于训练模型来识别摘要中的事实错误，并研究了单词、依赖和句子级别的事实性。通过对多个数据集的实验观察，作者认为人工标注的细粒度数据提供了更有效的训练信号，并证明了他们的最佳事实性检测模型能够识别训练数据中的非事实标记，从而使得训练更为准确的抽象摘要模型成为可能。

    Apr, 2021

  • 使用大型语言模型评估摘要的事实一致性

    本研究探索采用大型语言模型 (DLM) 来评估摘要的事实一致性，并通过对 GPT 模型系列和 Flan-T5 等不同类型的 DLM 进行分析，以及对多种提示方法进行研究，最终证明了直接针对 DLM 的提示方法在各项测试中均优于当前最先进的摘要事实性系统。

    May, 2023

  • 摘要生成模型的事实错误更正

    本研究提出了一种后处理校正模块来解决神经抽象汇总系统的事实一致性问题，该模块采用预训练的神经校正模型，能够识别和修正所生成的摘要中的事实错误，并在 CNN / DailyMail 数据集上表现出比先前模型更好的事实一致性的评估结果。

    Oct, 2020

  • 通过生成文档级别 NLI 实例识别摘要中的事实不一致性

    本文研究了神经抽象摘要模型在生成的摘要与其原文存在事实上的不一致可能性，提出使用 NLI 模型进行辨别以及如何借助数据生成来提升辨别效果，最终使用 Falsesum 数据集完成了四个基准测试并有所提升。

    May, 2022

  • 使用 FRANK 来理解抽象摘要中的事实性：一个事实度量的基准

    该研究在 CNN/DM 和 XSum 数据集上使用类型学来收集各种摘要模型的生成摘要的人类注释，并使用它来识别各种类别的事实错误的比例，并基准事实度度量标准，显示它们与人类判断的相关性以及它们的特定优点和缺点

    Apr, 2021

  • 抽象文本摘要中的事实不一致问题：一项调查

    研究表明，使用神经编码器 - 解码器模型等抽象方法能够更好的进行生成摘要，但是由于摘要的抽象性较高，导致文章中存在失真和伪造的问题，因此当前的研究主要集中在设计新的评估算法和开发新的摘要系统以解决这一问题。本文综合评述了这些基于事实的评估方法和文本摘要模型。

    Apr, 2021

  • 基于神经模型的事实不一致分类及解释

    本文提出一种基于物理学的方法，正式定义了文本中五种事实不一致的类型，并依此将一些文章注释为数据集。我们使用这个数据集来训练一个神经模型，以预测在 (索赔、上下文) 句对中的矛盾类型和矛盾实体类型 (当矛盾是由实体引起时)

    Jun, 2023

  • 摘要中事实不一致的识别：向大型语言模型的有效利用迈进

    通过零样本策略，本研究提出并评估了三种方式来解决实际的矛盾检测问题，并研究了如何精简高效且功效强大的大型语言模型。实验结果表明，适当设计的范式可以使大型语言模型在无需训练的情况下解决此问题，平均超越强训练基线 2.8％。为了进一步提高实用性，我们提出了训练策略，旨在通过高准确性一次对整个摘要进行评分的方式来精简开源大型语言模型，其效果优于较大的零样本大型语言模型，成为一种有效且高效的可即用得分器。

    Feb, 2024

  • 通过后期编辑和语言模型填充纠正抽象摘要中的多样化事实错误

    本文提出使用语言模型生产更加具有代表性的无事实描述样例，训练出更加强大和鲁棒的基于事实更正的模型对生成的摘要进行错误更正提高摘要的事实一致性。

    Oct, 2022