经济有效的大型语言模型幻觉检测
提出了一个使用自然语言推理链 (CoNLI) 来进行幻觉检测和幻觉减少的层次性框架,通过后期编辑来减少幻觉生成,从而提升文本质量。该框架在幻觉检测方面取得了最先进的性能,并在不进行微调或特定领域提示工程的情况下,使用大型语言模型 (LLMs) 进行重写,展示出了在各种上下文中具有竞争力的性能。
Oct, 2023
本研究提出了一种基于反向验证的自检方法,以零资源方式自动检测事实错误,并构建了一个基于ChatGPT生成的、由人工注释的幻觉检测基准,在段落级别进行研究和评估不同方法,揭示了零资源方法的共同局限。
Oct, 2023
本文提出了一种新颖的无参考、基于不确定性的大语言模型(LLM)幻觉检测方法,通过关注给定文本中最具信息和重要性的关键词、历史上不可靠的标记以及标记属性(如类型和频率),实现了最新的检测方法,消除了对额外信息的需求。
Nov, 2023
介绍了一个自动可扩展的框架,将大型语言模型(LLM)的幻觉倾向与高效的幻觉检测相结合,提供了测试和改进LLMs的机会,并有潜力生成特定领域的基准数据集。
Feb, 2024
LLMs出现的幻觉指的是LLMs产生的回应在逻辑上是连贯的,但事实上是不准确的。本文引入了一种名为MIND的无监督训练框架,利用LLMs的内部状态实时检测幻觉,无需手动注释,并提出了用于评估多个LLMs幻觉检测的新基准HELM。我们的实验证明,MIND在幻觉检测方面优于现有的最先进方法。
Mar, 2024
通过使用名为RelD的鲁棒性判别器,本文提出了一种有效检测大型语言模型中幻觉问题的方法,并在构建的RelQA双语问答对话数据集上进行了训练。实验结果表明,该方法成功检测到了由不同大型语言模型生成的幻觉回答,且能够区分内部和外部分布数据集中的幻觉问题。此研究为可靠答案的检测做出了重要贡献,并对未来幻觉问题的缓解具有显著的意义。
Jul, 2024
该论文介绍了一种迭代自训练框架,可以扩展大型语言模型幻觉注释数据集的规模,提高幻觉注释器的准确性,并且通过先进的零样本推理,在HaluEval和HalluQA上获得了全新的幻觉检测结果。
Jul, 2024
本文探讨了四个大型语言模型(LLMs)(Llama 3、Gemma、GPT-3.5 Turbo和GPT-4)在幻觉生成和检测任务中的能力,并采用集成多数投票的方法将所有四个模型应用于检测任务,结果对于了解这些模型在处理幻觉生成和检测任务中的优势和不足具有有价值的见解。
Jul, 2024
本研究针对大语言模型中的幻觉现象(生成与输入、不实外部事实或内部不一致的输出)进行检测,提出了一种后期检测的创新方法。通过生成信心分数、根据输入和候选响应的属性进行校准,并通过阈值实现检测,研究显示多评分框架能有效结合不同评分的优点,显著提升检测效果,同时实现成本效益高的检测方法,有望减少计算开销。
Jul, 2024
该研究解决了大型语言模型中幻觉问题,即生成不准确内容的挑战,并指出现有方法的不足。论文提出THaMES,一个综合框架,能够自动生成测试集并评估幻觉的减轻效果,通过多种策略优化模型能力,结果表明商用模型在特定情况下更依赖不同的减轻策略,且参数高效微调显著提升模型表现。
Sep, 2024