减少抽象总结中的数量幻觉
减少幻觉的输出或概括长文本文档摘要的幻觉是本论文的目标。通过在 Longformer Encoder-Decoder (LED) 模型的微调中结合数据过滤和联合实体与摘要生成(JAENS)技术,我们使用 PubMed 数据集来改善产生的摘要质量,并测量了实体级别的事实一致性。实验结果显示,经过微调的 LED 模型在生成论文摘要方面表现良好,基于一些预处理步骤的数据过滤技术能够减少生成摘要中的实体级别幻觉,从而提高了事实一致性指标。
Sep, 2023
该研究提出了一种新的检测方法,可以将实体的幻觉从非实体的幻觉中区分出来,该检测方法使用预训练的和微调的掩码语言模型,可作为离线强化学习算法中的奖励信号,极大地提高了摘要的事实性,同时保持了其抽象水平。
Aug, 2021
提出了一种新的度量生成摘要与原文事实一致性的方法,并展示了通过简单的过滤训练数据可减少实体幻觉问题。此外,还提出了一个摘要值得关注的实体分类任务及联合实体和摘要生成方法,并在实体层面的指标上得到了进一步的改进。
Feb, 2021
本文发现了一个简单的标准 —— 模型不确定性高 —— 会导致生成更多的错误内容(即幻觉),并提出了一种解码策略,该策略在存在不确定性时优化源和目标单词的点间互信息,从而减少幻觉的出现,并在 XSum 数据集上进行了实验证明,该方法降低了幻觉的概率,同时保持了黄色和 BertS 得分。
Oct, 2022
通过 Factored Verification 方法检测模糊摘要中的幻觉,并评估了其在 HaluEval 基准测试中的状况,结果表明其在幻觉检测方面达到了 76.2% 的准确度。我们使用该方法估计模型在多篇学术论文摘要中产生幻觉的频率,结果显示 ChatGPT (16k) 平均摘要中有 0.62 个幻觉,GPT-4 为 0.84,而 Claude 2 则为 1.55。我们要求模型使用 Factored Critiques 进行自我纠正,结果发现幻觉数量分别下降到了 ChatGPT 的 0.49,GPT-4 的 0.46,以及 Claude 2 的 0.95。由于我们发现的幻觉往往是微妙的,因此在使用模型合成学术论文时需要谨慎。
Oct, 2023
通过使用 CoBa 技术,该论文提出了一种简单而有效的技术来减少抽象摘要中的幻觉现象,该方法通过测量有关条件概率和上下文词之间距离的简单统计数据来实现幻觉检测和缓解。
Oct, 2023
分析了神经文本生成模型在抽象文档摘要生成方面的局限性,并发现这些模型非常容易产生虚假内容。人类评估显示,预训练模型生成的摘要不仅在原始度量标准(即 ROUGE)方面更好,而且在生成忠实和真实摘要方面也更好,文本蕴含度量更好地相关于忠实度,有可能成为自动评估度量标准以及训练和解码标准的前景。
May, 2020
通过对替身候选生成和选择的研究,我们提出了一个模型无关的后处理技术来修正当前神经抽象摘要生成模型中常见的不忠于原始内容的摘要幻觉现象,我们学习了一个判别式修正模型并证明,通过替代抽象式中的具名实体和数量标识来代替同源文本中语义相似类型的实体可以有效识别和修正这些不符合原文本实质的幻觉,希望此方法可以为未来的神经抽象摘要生成方向的研究提供新的思路。
Apr, 2021
基于大型语言模型的文本生成具有吸引力,但生成的抽象摘要可能存在解释错误的 “幻觉”。本研究使用一套无监督指标来评估摘要的一致性,并与人工评估得分进行相关性分析。研究发现,基于大型语言模型的方法在幻觉检测方面优于其他无监督指标,而集合方法可以进一步提升性能。最后,本研究提出了一种新的集合方法,比之前的方法有更好的结果。
Oct, 2023