ACLMay, 2023

文本摘要中可解释的自动细粒度不一致性检测

PDF
TL;DR研究提出了 fine-grained inconsistency detection 任务，用于检测文本摘要中的细粒度事实错误类型。通过提出的 FineGrainFact 方法，结合语义帧和语义角色标记来实现明确的事实表示、错误预测和总结改正。结果表明，该模型表现优于强基线模型，为摘要提供了支持或反驳的证据。
text summarizationfine-grained inconsistency detectionsemantic framessemantic role labelingfact representation
发现论文，激发创造
  • 基于神经模型的事实不一致分类及解释

    本文提出一种基于物理学的方法，正式定义了文本中五种事实不一致的类型，并依此将一些文章注释为数据集。我们使用这个数据集来训练一个神经模型，以预测在 (索赔、上下文) 句对中的矛盾类型和矛盾实体类型 (当矛盾是由实体引起时)

    Jun, 2023

  • 评估抽象文本摘要的事实一致性

    该研究提出了一种弱监督、基于模型的方法来验证摘要的事实一致性，并鉴别来源文献和生成的摘要之间的冲突。

    Oct, 2019

  • 对话摘要中注释和检测细粒度事实错误

    本文介绍了第一个 fine-grained 正误注释数据集 DIASUMFACT，以及通过候选排名使用预训练编码器 - 解码器模型提出的无监督模型 ENDERANKER，该模型表现出与 SOTA 模型相当的性能，并且需要更少的资源。这些发现证实了从对话摘要中检测事实错误的挑战，这为进一步研究提供了坚实的基础。

    May, 2023

  • 主题摘要中的细粒度事实注释及建模

    研究表明，目前预训练的抽象摘要系统在性能上已经取得了可信的表现，但其输出的摘要常常与输入不符合并存在事实错误。作者探讨了综合和人工标注数据，用于训练模型来识别摘要中的事实错误，并研究了单词、依赖和句子级别的事实性。通过对多个数据集的实验观察，作者认为人工标注的细粒度数据提供了更有效的训练信号，并证明了他们的最佳事实性检测模型能够识别训练数据中的非事实标记，从而使得训练更为准确的抽象摘要模型成为可能。

    Apr, 2021

  • FIZZ：Zoom-in 摘要和 Zoom-out 文档的事实不一致性检测

    通过细粒度原子事实分解，我们提出了一种基于摘要和文档的高效、可解释的事实不一致检测方法，这些原子事实代表了更细粒度的信息单元，促进了摘要的详细理解和可解释性。实验结果表明，我们提出的事实一致性检测系统明显优于现有系统。

    Apr, 2024

  • 关于从自然语言反馈中提高摘要的事实一致性

    本文中，我们对自然语言生成功能的输出质量提出问题，通过收集人类演示和信息反馈数据集 DeFacto，我们进行了两项自然语言生成任务的研究，旨在通过实现信息反馈来提高自然语言生成模型的质量，改善与用户需求的匹配度。

    Dec, 2022

  • CONFIT：基于语言学对比微调的忠实对话摘要

    通过 ConFiT 训练方法及一系列的模块化目标来改善抽象型对话摘要的事实准确性，最终生成的摘要数据质量得到了显著提高。

    Dec, 2021

  • 多模式摘要的细粒度和可解释性事实评估

    多模态概括旨在根据文本和图像生成简洁的摘要，但现有方法潜在地存在不实输出。为了评估多模态概括模型的真实性，我们提出了两个细粒度且可解释的评估框架（FALLACIOUS），用于不同的应用场景，即基于参考物的真实性评估框架和基于非参考物的真实性评估框架。值得注意的是，基于非参考物的真实性评估框架不需要基准真实性，因此具有更广泛的应用场景。为了评估提出框架的有效性，我们计算了其与其他度量标准之间的相关性。实验结果显示了我们提出方法的有效性。我们将通过 Github 发布我们的代码和数据集。

    Feb, 2024

  • 利用掩码汇总生成事实不一致摘要以改进事实一致性检查

    本文提出了一种基于遮罩的方法，使用源文本和关键信息屏蔽的参考摘要来生成真实不一致的摘要，这些摘要被用于训练分类器来判断一个产生的摘要是否与源文本事实一致；在七个基准数据集上进行的实验表明，使用我们的方法生成的摘要训练的分类器通常优于现有模型，并且表现出较高的与人类评估结果的相关性，我们还分析了使用我们的方法生成的摘要的特点。

    May, 2022

  • SIFiD：基于 LLM 的摘要事实不一致检测再评估

    使用大型语言模型进行概要不一致性检测的研究，通过对比 GPT-3.5 和 GPT-4 的性能，我们提出了 SIFiD（使用过滤文档进行概要不一致性检测），该方法通过自然语言推理或度量概要与文档之间的语义相似性来识别文档中的关键句子。

    Mar, 2024