利用认知神经网络减少 LLM 幻觉
通过广泛系统实验,我们展示了传统方法无法解释 LLMs 在实践中为什么会产生幻觉,并通过大量内存专家的混合来增强 LLMs,可以轻松地记忆大数据集,为去除幻觉设计了 Lamini-1 模型。
Jun, 2024
通过多个数据集和大型语言模型,包括 Llama-2,对该模型的幻觉水平进行广泛评估,并展示了我们的方法在自动检测幻觉方面的有效性,达到了 87% 的平衡准确率,而无需依赖外部知识。
Mar, 2024
本文提出在大规模语言模型上加入 epinet 网络架构以取得 epistemic neural network (ENN) 优化的结果,使用该方法在 GLUE 任务中,不仅可以达到和 BERT 相同的性能表现,还能使用少两倍的数据。同时,该方法在神经网络生成模型中也表现良好,优于启发式主动学习方法。
Nov, 2022
本文提出了一种新颖的无参考、基于不确定性的大语言模型 (LLM) 幻觉检测方法,通过关注给定文本中最具信息和重要性的关键词、历史上不可靠的标记以及标记属性(如类型和频率),实现了最新的检测方法,消除了对额外信息的需求。
Nov, 2023
提出了一个使用自然语言推理链 (CoNLI) 来进行幻觉检测和幻觉减少的层次性框架,通过后期编辑来减少幻觉生成,从而提升文本质量。该框架在幻觉检测方面取得了最先进的性能,并在不进行微调或特定领域提示工程的情况下,使用大型语言模型 (LLMs) 进行重写,展示出了在各种上下文中具有竞争力的性能。
Oct, 2023
通过引入 HaloCheck 框架,本研究针对较弱的开源大语言模型 BLOOM 7B,测量和减少其幻觉现象,并探索了知识注入和师生方法等技术,有效地减少了这些模型在具有挑战性领域中的幻觉。
Aug, 2023
通过引入一种名为【自我检测】的新技术,本研究提出了一种预防性策略来减少大型语言模型中的 “幻觉” 现象,实验证明该技术在幻觉检测方面表现优异,对于提高语言助手的可靠性、适用性和解释性具有重要意义。
Sep, 2023
该研究提出一种 Embedding Hallucination(EmbedHalluc)方法,通过生成辅助的嵌入标签对来扩展 fine-tuning 数据集,以在各种语言任务中解决 fine-tuning 过拟合的问题。实验表明,该方法在各种语言任务中均表现优异,优于当前的微调方法。
May, 2022
LLMs 出现的幻觉指的是 LLMs 产生的回应在逻辑上是连贯的,但事实上是不准确的。本文引入了一种名为 MIND 的无监督训练框架,利用 LLMs 的内部状态实时检测幻觉,无需手动注释,并提出了用于评估多个 LLMs 幻觉检测的新基准 HELM。我们的实验证明,MIND 在幻觉检测方面优于现有的最先进方法。
Mar, 2024
研究大型语言模型的幻觉问题如何通过自我感知估计幻觉风险,通过对神经元、激活层和令牌的研究,提出了一种探测器来实现语言模型的自我评估,试验结果表明其幻觉估计准确率达到 84.32%。
Jul, 2024