抽象化摘要模型中的定量数值探讨
本文旨在离散化抽象文本摘要模型的向量空间,以理解输入嵌入空间和模型编码空间之间的特征学习。我们通过聚类技术来学习模型样本空间的多样性,以及数据点如何从嵌入空间映射到编码空间,从而提出了一种度量方法来过滤冗余数据点,使模型更强大且更节约数据。我们使用 Rouge、BERTScore、FEQA 和金字塔分数等定量指标来对我们提出的方法进行基准测试,并量化阻碍模型从各种输入样本中学习多样性的原因。
Dec, 2023
分析了神经文本生成模型在抽象文档摘要生成方面的局限性,并发现这些模型非常容易产生虚假内容。人类评估显示,预训练模型生成的摘要不仅在原始度量标准(即 ROUGE)方面更好,而且在生成忠实和真实摘要方面也更好,文本蕴含度量更好地相关于忠实度,有可能成为自动评估度量标准以及训练和解码标准的前景。
May, 2020
基于大型语言模型的文本生成具有吸引力,但生成的抽象摘要可能存在解释错误的 “幻觉”。本研究使用一套无监督指标来评估摘要的一致性,并与人工评估得分进行相关性分析。研究发现,基于大型语言模型的方法在幻觉检测方面优于其他无监督指标,而集合方法可以进一步提升性能。最后,本研究提出了一种新的集合方法,比之前的方法有更好的结果。
Oct, 2023
提出了一种新的度量生成摘要与原文事实一致性的方法,并展示了通过简单的过滤训练数据可减少实体幻觉问题。此外,还提出了一个摘要值得关注的实体分类任务及联合实体和摘要生成方法,并在实体层面的指标上得到了进一步的改进。
Feb, 2021
本文发现了一个简单的标准 —— 模型不确定性高 —— 会导致生成更多的错误内容(即幻觉),并提出了一种解码策略,该策略在存在不确定性时优化源和目标单词的点间互信息,从而减少幻觉的出现,并在 XSum 数据集上进行了实验证明,该方法降低了幻觉的概率,同时保持了黄色和 BertS 得分。
Oct, 2022
本文分析生成模型的训练动态,特别是聚焦于总结的方面,并研究了不同阶段的训练过程中模型学到的东西,通过简单的训练修正可以实现不同目标,比如提高事实性和提高抽象程度。
Oct, 2021
减少幻觉的输出或概括长文本文档摘要的幻觉是本论文的目标。通过在 Longformer Encoder-Decoder (LED) 模型的微调中结合数据过滤和联合实体与摘要生成(JAENS)技术,我们使用 PubMed 数据集来改善产生的摘要质量,并测量了实体级别的事实一致性。实验结果显示,经过微调的 LED 模型在生成论文摘要方面表现良好,基于一些预处理步骤的数据过滤技术能够减少生成摘要中的实体级别幻觉,从而提高了事实一致性指标。
Sep, 2023
通过对替身候选生成和选择的研究,我们提出了一个模型无关的后处理技术来修正当前神经抽象摘要生成模型中常见的不忠于原始内容的摘要幻觉现象,我们学习了一个判别式修正模型并证明,通过替代抽象式中的具名实体和数量标识来代替同源文本中语义相似类型的实体可以有效识别和修正这些不符合原文本实质的幻觉,希望此方法可以为未来的神经抽象摘要生成方向的研究提供新的思路。
Apr, 2021