Feb, 2024

通过事实模板分解减少实体摘要中的幻觉

PDF
TL;DR基于预训练语言模型的实体摘要生成过程中，常常出现虚构信息的问题，为了解决这个问题，我们使用事实和模板的分解结构，提出了一种可解释的框架 SlotSum。该框架首先创建一个模板，然后根据输入文档预测每个模板位置的事实。通过事实和模板的分解，SlotSum 能够容易地定位错误并利用外部知识修正虚构的预测结果。我们构建了一个新的数据集 WikiFactSum 用于评估 SlotSum 的性能，实验结果表明 SlotSum 能够生成更具可信度和事实性的摘要。
发现论文，激发创造
  • 幻觉但真实！审视抽象概括中幻觉真实性

    该研究提出了一种新的检测方法，可以将实体的幻觉从非实体的幻觉中区分出来，该检测方法使用预训练的和微调的掩码语言模型，可作为离线强化学习算法中的奖励信号，极大地提高了摘要的事实性，同时保持了其抽象水平。

    Aug, 2021

  • 抽象文本摘要的实体级事实一致性

    提出了一种新的度量生成摘要与原文事实一致性的方法，并展示了通过简单的过滤训练数据可减少实体幻觉问题。此外，还提出了一个摘要值得关注的实体分类任务及联合实体和摘要生成方法，并在实体层面的指标上得到了进一步的改进。

    Feb, 2021

  • 长文本摘要中的幻觉减少

    减少幻觉的输出或概括长文本文档摘要的幻觉是本论文的目标。通过在 Longformer Encoder-Decoder (LED) 模型的微调中结合数据过滤和联合实体与摘要生成（JAENS）技术，我们使用 PubMed 数据集来改善产生的摘要质量，并测量了实体级别的事实一致性。实验结果显示，经过微调的 LED 模型在生成论文摘要方面表现良好，基于一些预处理步骤的数据过滤技术能够减少生成摘要中的实体级别幻觉，从而提高了事实一致性指标。

    Sep, 2023

  • 遵从文档还是现实世界？通过实体链接的知识在抽象摘要中减轻幻觉

    使用外部世界知识来提高文摘的 “忠实度” 能够有效避免内容失真的问题，并且外部知识库可以提高摘要的准确性。

    Apr, 2022

  • 减少抽象总结中的数量幻觉

    该文介绍了一种避免概括性摘要中产生的虚假信息的方法，通过学习识别和验证摘要中的数量实体，使得被验证支持的摘要得到提升，这种方法得到人们的好评。

    Sep, 2020

  • 提高文本摘要的事实一致性：通过对 L 软件理解与装饰能力进行对抗解耦

    本文提出了一种基于对抗解耦的方法（DECENT），旨在提高大型语言模型（LLMs）的文本摘要的准确性和可靠性，以克服其在生成摘要时出现的谬误和虚假细节的问题。

    Oct, 2023

  • 分解验证：检测和减少学术论文摘要中的虚假信息

    通过 Factored Verification 方法检测模糊摘要中的幻觉，并评估了其在 HaluEval 基准测试中的状况，结果表明其在幻觉检测方面达到了 76.2% 的准确度。我们使用该方法估计模型在多篇学术论文摘要中产生幻觉的频率，结果显示 ChatGPT (16k) 平均摘要中有 0.62 个幻觉，GPT-4 为 0.84，而 Claude 2 则为 1.55。我们要求模型使用 Factored Critiques 进行自我纠正，结果发现幻觉数量分别下降到了 ChatGPT 的 0.49，GPT-4 的 0.46，以及 Claude 2 的 0.95。由于我们发现的幻觉往往是微妙的，因此在使用模型合成学术论文时需要谨慎。

    Oct, 2023

  • 论抽象化摘要中的忠实度与客观性

    分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

    May, 2020

  • 生物医学文献的面向实体和事实的抽象摘要生成

    本文提出了一种基于实体驱动事实感知的框架，用于训练端到端的基于 Transformer 的编码 - 解码模型以摘要生物医学文章。在使用知识库中的命名实体和事实进行指导的情况下，EFAS 能够实现比标准源文档到摘要设置更准确的实体级事实准确性、N-gram 新颖性和语义等价性，而 ROUGE 指标的表现相当。

    Mar, 2022

  • 使用学习实体提示进行抽象摘要规划

    本文提出了利用实体链策略来帮助生成摘要的方法，通过在目标摘要前附加实体链从而生成更为准确与可控制的摘要，该方法在多个数据集上得到应用，并在 faithfulness 方面表现优异。

    Apr, 2021