知识图谱对 LLMs 的幻觉减少效果:一项调查
知识图谱的积极运用可以有效减轻大型语言模型的虚构幻觉,本文提出了一种基于知识图谱的改进框架,通过将知识图谱与语言模型相结合,修改模型生成的初步回答,从而验证和完善其中的事实陈述,实验证明该框架在解决复杂推理过程中显著提高了语言模型在事实问答基准测试中的性能,有效减轻了虚构幻觉,增强了语言模型的可信度。
Nov, 2023
本文提出了一种名为知识解决器(KSL)的范例,通过利用大型语言模型(LLMs)的强大概括能力,教给它们从外部知识库中搜索必要知识,并将检索过程转化为多跳决策序列,增强了 LLMs 的搜索能力,提高了推理过程的可解释性。在三个数据集上的实验证实,我们的方法相对基准模型的表现有很大的提升。
Sep, 2023
使用协作增强框架 CogMG,结合知识图谱解决了大型语言模型在问答场景中的不完整知识覆盖和知识更新不匹配的问题,并通过监督微调的 LLM 在一个代理框架中展示了在减少幻觉和提高答案的事实准确性方面取得的显著改进。
Jun, 2024
这篇论文综述了 32 种技术,旨在减轻大型语言模型中的幻觉问题,其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法,并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法,以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外,还分析了这些技术中存在的挑战和局限性,为未来研究提供了坚实的基础。
Jan, 2024
通过广泛系统实验,我们展示了传统方法无法解释 LLMs 在实践中为什么会产生幻觉,并通过大量内存专家的混合来增强 LLMs,可以轻松地记忆大数据集,为去除幻觉设计了 Lamini-1 模型。
Jun, 2024
LLMs 通过内部的知识图来推理知识图谱,本文研究了 LLMs 从预训练知识图中召回信息的准确性以及从上下文中推断知识图关系的能力,并通过四个不同的知识图推理任务来验证了其成功处理简单和复杂知识图推理任务以及从输入上下文中推断的实验结果。
Dec, 2023
本文阐述了人工智能幻觉的根本原因及其在人工智能中的重要意义,并就幻觉分类进行了研究,包括机器翻译、问答系统、对话系统、摘要系统、基于大语言模型的知识图谱以及视觉问答等多个任务。同时,本研究探讨了缓解幻觉的潜在策略,旨在提高大语言模型的整体可靠性。该研究属于 HeReFaNMi(Health-Related Fake News Mitigation)项目的一部分,该项目得到 NGI Search 的慷慨支持,旨在抑制互联网上健康相关虚假新闻的传播,致力于在不断演进的人工智能技术时代保护信息传播的完整性。
Nov, 2023
利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法,本研究在知识图谱的指导下,通过迭代探索和选择性地检索任务相关的知识子图来支持推理,使得 LLMs 能更可靠地进行基于知识的推理,并同时明确阐述推理过程,实验结果表明本方法在多个数据集上显著改进,尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%,为今后的知识图谱和大型语言模型融合研究提供了有价值的参考,提升 LLMs 在解决复杂问题上的能力。
Feb, 2024