May, 2023
推理任务中大型语言模型产生幻觉的来源
Sources of Hallucination by Large Language Models on Inference Tasks
Nick McKenna, Tianyi Li, Liang Cheng, Mohammad Javad Hosseini, Mark Johnson...
TL;DR该论文通过对多个大型语言模型的行为研究发现,训练数据的记忆和频率偏好是导致生成式大型语言模型产生幻觉的两个主要因素,这些模型在自然语言推断等应用任务中表现出明显的问题。