从实体中心视角探索开放领域表格生成的忠实度
本文提出了一种基于 Transformer 模型的文本生成框架,以实现表格与文本的一致性,并提出了一种新的自动度量标准来评估一致性,实验证明该框架可以显著超越现有技术。
May, 2020
本文提出了一种使用 “实体覆盖控制(Entity Coverage Control,ECC)” 方法来解决预训练语言模型产生的 “幻觉(hallucinate)” 现象的方案,该方法不仅更好地保持了上下文的内容准确性,而且在使用大量噪声数据进行中间优调(intermediate fine-tuning)时,还可以解决无需监督的情况下的提要抽象生成(zero-shot summarization)问题,并证明了该方法在三个不同领域和风格的基准数据集上比其他方法更为有效和鲜明。
Jul, 2022
分析了神经文本生成模型在抽象文档摘要生成方面的局限性,并发现这些模型非常容易产生虚假内容。人类评估显示,预训练模型生成的摘要不仅在原始度量标准(即 ROUGE)方面更好,而且在生成忠实和真实摘要方面也更好,文本蕴含度量更好地相关于忠实度,有可能成为自动评估度量标准以及训练和解码标准的前景。
May, 2020
本文提出系统研究 faithfulness metrics 在对话摘要任务上的应用,发现对于绝大部分度量方法而言,在对话数据上的表现与人类判断的相关性较差。为了提高 faithfulness metrics 在对话摘要任务上的性能,我们还采用了 fine-tuning on in-domain dataset 和 unlikelihood training on negative samples 等技术。最后提出 T0-Score 度量方法,其在多个领域上均能稳定提高评价性能。
Nov, 2022
提出了一种新的度量生成摘要与原文事实一致性的方法,并展示了通过简单的过滤训练数据可减少实体幻觉问题。此外,还提出了一个摘要值得关注的实体分类任务及联合实体和摘要生成方法,并在实体层面的指标上得到了进一步的改进。
Feb, 2021
本研究提出了一种基于骨架的两阶段方法,将自回归和非自回归方法相结合用于表格到文本生成中,通过集成骨架的硬约束来提高生成的覆盖率和忠实度,实验结果显示了我们的方法在自动和人工评估中都表现出优越性能。
May, 2021
通过对替身候选生成和选择的研究,我们提出了一个模型无关的后处理技术来修正当前神经抽象摘要生成模型中常见的不忠于原始内容的摘要幻觉现象,我们学习了一个判别式修正模型并证明,通过替代抽象式中的具名实体和数量标识来代替同源文本中语义相似类型的实体可以有效识别和修正这些不符合原文本实质的幻觉,希望此方法可以为未来的神经抽象摘要生成方向的研究提供新的思路。
Apr, 2021