ACLMay, 2023

对话摘要中注释和检测细粒度事实错误

PDF
TL;DR本文介绍了第一个 fine-grained 正误注释数据集 DIASUMFACT，以及通过候选排名使用预训练编码器 - 解码器模型提出的无监督模型 ENDERANKER，该模型表现出与 SOTA 模型相当的性能，并且需要更少的资源。这些发现证实了从对话摘要中检测事实错误的挑战，这为进一步研究提供了坚实的基础。
dialogue summariesfactual error detectiondatasetmodelsunsupervised model
发现论文，激发创造
  • 主题摘要中的细粒度事实注释及建模

    研究表明，目前预训练的抽象摘要系统在性能上已经取得了可信的表现，但其输出的摘要常常与输入不符合并存在事实错误。作者探讨了综合和人工标注数据，用于训练模型来识别摘要中的事实错误，并研究了单词、依赖和句子级别的事实性。通过对多个数据集的实验观察，作者认为人工标注的细粒度数据提供了更有效的训练信号，并证明了他们的最佳事实性检测模型能够识别训练数据中的非事实标记，从而使得训练更为准确的抽象摘要模型成为可能。

    Apr, 2021

  • 参考文献的重要性：使用细粒度评估框架对对话摘要的事实纠错进行基准测试

    本文提出 FERRANTI 框架，基于参考文献纠错的细粒度评估机制，通过实验证明了 FEC 方法在不同事实错误类别上的显著性能差异，以及提出的最佳训练模式。

    Jun, 2023

  • 理解摘要中的事实错误：错误，摘要生成器，数据集和错误检测器

    研究了摘要系统在制作摘要时出现的事实性错误，并比较了不同技术和数据集上的效果，并取得了一些新的结果：使用预训练模型的现代数据集显示结果显著不同于使用 pre-Transformer 的旧数据集，没有一种技术在所有情况下都是优秀的。

    May, 2022

  • CONFIT：基于语言学对比微调的忠实对话摘要

    通过 ConFiT 训练方法及一系列的模块化目标来改善抽象型对话摘要的事实准确性，最终生成的摘要数据质量得到了显著提高。

    Dec, 2021

  • 文本摘要中可解释的自动细粒度不一致性检测

    研究提出了 fine-grained inconsistency detection 任务，用于检测文本摘要中的细粒度事实错误类型。通过提出的 FineGrainFact 方法，结合语义帧和语义角色标记来实现明确的事实表示、错误预测和总结改正。结果表明，该模型表现优于强基线模型，为摘要提供了支持或反驳的证据。

    May, 2023

  • 通过聚合提示识别错误（DEEP）：一种用于检测事实错误的端到端 LLM 框架

    用于检测大语言模型生成的文本摘要中的事实错误的一种框架，该框架通过使用多样的语言模型提示来识别事实不一致，并将其输出作为二进制特征进入集成模型，从而产生经验性准确的概率来判断文本是否在事实上一致或不含幻想。

    Jun, 2024

  • 基于证据的事实错误校正

    本文介绍了事实错误校正的任务和方法：通过编辑要求以便生成的改写通过证据更好地支持。使用 T5 Transformer 基于远程监督的方法，通过将证据合并到掩码声明中来训练事实错误校正系统。在一个基于最近事实验证共享任务的数据集上进行评估，结果表明我们的方法可以比现有的方法更准确地对事实错误进行校正，在人工评估中将错误校正的数量提高了 5 倍，并且 SARI 分数提高了 0.125。

    Jun, 2021

  • 基于证据的事实错误修正

    本文介绍了一个新的任务：事实错误纠正。通过将证据整合到掩码声明中进行更正，学习纠正事实错误的系统。本文中提出了一个基于 T5 变压器的两阶段远程监督方法，通过检索证据获得更好的结果，从而取得了更好的性能，并通过人类评估证明了其有效性。

    Dec, 2020

  • 摘要生成模型的事实错误更正

    本研究提出了一种后处理校正模块来解决神经抽象汇总系统的事实一致性问题，该模块采用预训练的神经校正模型，能够识别和修正所生成的摘要中的事实错误，并在 CNN / DailyMail 数据集上表现出比先前模型更好的事实一致性的评估结果。

    Oct, 2020

  • 评估生成文本的事实准确性

    该研究提出了一种基于模型的度量标准，用于评估生成的文本的事实准确性，并引入了一个新的基于维基百科和维基数据的大规模数据集来训练关系分类器和端到端事实提取模型。通过在维基百科文本摘要任务中分析多个模型的准确性并进行人类评估研究，论文展示了这些方法相对于 ROUGE 和其他无模型变量的方法的功效。

    May, 2019