ACLApr, 2022

使用语义图表示评估摘要中的事实准确性

PDF
TL;DRFactGraph 方法使用结构化的意义表示形式以及基于图的编码器和适配器来提高文本摘要的真实性。
abstractive summarizationfactuality error identificationstructured meaning representationsgraph encodercontent verifiability errors
发现论文，激发创造
  • AMRFact: 使用 AMR 驱动的训练数据生成方法增强摘要事实性评估

    通过将正确摘要解析为 AMR 图并注入有控制的事实不一致性来生成负样本，AMRFact 提出了一种新的框架，使得能够以高错误类型覆盖率生成连贯的事实不一致摘要，从而在抽象化摘要中评估事实性方面表现出明显的优势。

    Nov, 2023

  • 提高抽象摘要的事实一致性

    文章提出了一种基于事实感知的自动摘要模型 FASum，通过图注意力来提取和整合摘要生成过程中的事实关系，并设计了一个名为 FC 的事实校正模型来自动纠正现有系统生成摘要中的事实错误。实证结果表明，基于事实感知的自动摘要可以生成具有更高事实一致性的抽象摘要，并且纠错模型通过只修改少量关键词就可以提高给定摘要的事实一致性。

    Mar, 2020

  • 依存层面蕴涵在生成中的事实性评估

    本文提出了一种新的蕴含形式，即在依赖弧的级别上对其进行分解，以便更好地检测文本生成模型中的事实不一致性。实验证明，基于依赖弧的蕴含模型可以更好地识别重新表述和摘要中的事实不一致性，并在定位错误部分方面具有优势。

    Oct, 2020

  • 评估抽象文本摘要的事实一致性

    该研究提出了一种弱监督、基于模型的方法来验证摘要的事实一致性，并鉴别来源文献和生成的摘要之间的冲突。

    Oct, 2019

  • FACTUAL：忠实且一致的文本场景图解析基准

    本文介绍了一种新的中间表示方法 FACTUAL-MR ，并使用该方法重新对 Visual Genome (VG) 中的字幕进行了注释，从而使结果更加真实且一致。研究者设计了一种新的场景图相似度度量方法，与改进后的场景图解析器结合使用，在图像字幕评估和零 - shot 图像检索任务中实现了最先进的结果。

    May, 2023

  • 主题摘要中的细粒度事实注释及建模

    研究表明，目前预训练的抽象摘要系统在性能上已经取得了可信的表现，但其输出的摘要常常与输入不符合并存在事实错误。作者探讨了综合和人工标注数据，用于训练模型来识别摘要中的事实错误，并研究了单词、依赖和句子级别的事实性。通过对多个数据集的实验观察，作者认为人工标注的细粒度数据提供了更有效的训练信号，并证明了他们的最佳事实性检测模型能够识别训练数据中的非事实标记，从而使得训练更为准确的抽象摘要模型成为可能。

    Apr, 2021

  • 引用图增强的科学论文摘要提取

    本文研究了使用引文图来提高科学论文摘要生成的质量，提出了两种方法：为任务提供简单而低成本的多粒度无监督摘要生成方法 (MUS)，以及对大量标记数据具有更准确结果的基于图的监督摘要方法 (GSS)，并在公共基准数据集上进行了实验验证以证明方法的有效性。

    Dec, 2022

  • 使用 FRANK 来理解抽象摘要中的事实性：一个事实度量的基准

    该研究在 CNN/DM 和 XSum 数据集上使用类型学来收集各种摘要模型的生成摘要的人类注释，并使用它来识别各种类别的事实错误的比例，并基准事实度度量标准，显示它们与人类判断的相关性以及它们的特定优点和缺点

    Apr, 2021

  • GO FIGURE: 摘要中事实性的元评估

    本研究提出了一个基于事实准确性的机器文本自动生成质量评价框架 ——GO FIGURE，针对 10 种不同的事实准确性评价指标进行了评估，结果表明 QA 指标相较于标准指标具有更强的性能，但性能仍高度依赖问题的生成方式。

    Oct, 2020

  • 基于语义层面图的事实核查推理

    本文提出了一种适合推理证据语义结构的方法，并结合预训练模型和图卷积网络、图注意力网络来提高事实核查的准确性，实验证明丰富的结构信息对事实核查有所帮助，并且所提出的模型在官方评测中均获得了最佳表现。

    Sep, 2019