可控幻觉:从嘈杂数据学习如何生成忠实的输出
本文针对数据到文本生成中存在的幻觉问题,提出通过引入自信度分数及变分贝叶斯训练框架来防止生成不受原数据支持的文本,实验结果表明该方法比现有最先进的方法更加忠实于原始数据,并在 WebNLG 数据集上取得强大的表现。
Oct, 2019
通过使用多分支解码器,结合基于共现分析和依存解析的简单高效的评分过程,针对 Data-to-Text Generation 的问题 ——Hallucinations 作出了研究,成功地减少了 Hallucinations,同时保持生成文本的流畅性和连贯性。
Feb, 2021
本文提出一种新方法,通过将生成器语言模型的概率输出与特殊的 “文本评论家” 分类器的输出结合起来,以评估输入数据与生成的文本之间的匹配程度,从而减轻神经数据到文本生成中的文字幻觉。实验证明,该方法对 WebNLG 和 OpenDialKG 基准具有改进效果。
Oct, 2023
使用生成式语言模型创造虚构平行语料库是对手动平行语料库的一个替代方案。我们的实验发现,虚构语料库可以为小型手动采集的语料库补充数据,从而提高翻译信号的质量。
Jul, 2023
最近的语言模型在生成对外观听起来真实但实际上是虚假的文本方面存在神秘的倾向,这对于基于语言的人工智能系统的可用性构成了障碍,并可能对依赖其输出的人造成伤害。本研究表明,预训练语言模型出现虚构某些类型的事实的统计原因是固有的,与变压器 LM 架构或数据质量无关。对于那些无法从训练数据中确定真实性的 “任意” 事实,我们表明,在适用于生成式语言模型的统计校准条件下,产生幻觉是必要的。具体而言,如果任何事实的最大概率受限,则我们表明产生幻觉的概率接近于训练数据中仅发生一次的事实的分数(一种 “Good-Turing” 估计),即使假设没有错误的理想训练数据。一个结论是,预训练模型要成为足够好的预测器(即校准),可能需要进行后期处理以减轻在训练集中只出现一次的任意事实类型的幻觉。然而,我们的分析还表明,预训练不会在训练数据中多次出现的事实(如对文章和书籍的引用等)或系统性事实(如算术计算)上产生幻觉。因此,不同的架构和学习算法可能会减轻这些后一类幻觉。
Nov, 2023
使用大型语言模型生成基于医生笔记的患者摘要,研究训练数据对生成摘要的准确性和质量的影响,使用对幻觉的严格标注协议,评估基于 Llama 2 和 GPT-4 的生成摘要的幻觉现象及相关信息。
Feb, 2024
该论文提出了 AutoHall 方法,通过自相矛盾的方式自动构建模型特定的幻觉数据集,然后基于这些数据集实现了无资源和黑盒幻觉检测方法,对开源和闭源大型语言模型进行了实验证明,在幻觉检测性能上优于现有基准模型,并且发现了不同模型之间的幻觉比例和类型的差异。
Sep, 2023