May, 2024

通过自我完善增强的知识检索减轻大型语言模型的幻觉

PDF
TL;DR在医学领域中，通过使用自我完善的知识图谱检索方法（Re-KGR），我们可以显著提高大型语言模型的真实性，降低谬误并减少虚构内容。
large language modelshallucinationknowledge graphsmedical fieldtruthfulness
发现论文，激发创造
  • 基于自治知识图谱改进的减轻大型语言模型幻觉

    知识图谱的积极运用可以有效减轻大型语言模型的虚构幻觉，本文提出了一种基于知识图谱的改进框架，通过将知识图谱与语言模型相结合，修改模型生成的初步回答，从而验证和完善其中的事实陈述，实验证明该框架在解决复杂推理过程中显著提高了语言模型在事实问答基准测试中的性能，有效减轻了虚构幻觉，增强了语言模型的可信度。

    Nov, 2023

  • 通过自我反思来缓解大型语言模型中的幻想

    通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

    Oct, 2023

  • 学会相信自己的感受：在语言模型中利用自我意识缓解幻觉

    通过使用知识探测、一致性检查和强化学习等方法，我们发现大型语言模型在辨别和表达其内部知识状态方面具有强大的自我意识，然而它们在生成过程中常常无法表达其内部知识，导致虚构。为此，我们提出了一种自动虚构注释工具，通过梦网，该工具将知识探测和一致性检查方法结合起来，以排名虚构偏好数据。通过使用知识偏好作为奖励，我们提出了一种从知识反馈中强化学习（RLKF）的训练框架，利用强化学习增强大型语言模型的真实性和诚实性。我们对多个模型进行的实验证明，RLKF 训练有效地增强了模型利用其内部知识状态的能力，在各种基于知识和诚实性的任务中提高了性能。

    Jan, 2024

  • 大型语言模型中幻觉缓解技术的综合调查

    这篇论文综述了 32 种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

    Jan, 2024

  • 知识图谱对 LLMs 的幻觉减少效果：一项调查

    综述了基于知识图谱的知识增强技术在 LLMs 中减轻幻觉方面的有效性，将这些方法系统地分类为三个总体组，提供了方法比较和性能的实证评估，最后探讨了这些技术所面临的挑战，并概述了这个新兴领域的未来研究方向。

    Nov, 2023

  • 评估检索增强型大型语言模型在科学文件推理中的有效性

    本研究通过关键字检索对多种大型语言模型进行评估，发现这些模型在科学文档推理任务中会使用编造的证据来支持预测，利用科学语料库进行预训练无法减轻证据捏造的风险。

    Nov, 2023

  • CogMG：大型语言模型与知识图谱之间的协同增强

    使用协作增强框架 CogMG，结合知识图谱解决了大型语言模型在问答场景中的不完整知识覆盖和知识更新不匹配的问题，并通过监督微调的 LLM 在一个代理框架中展示了在减少幻觉和提高答案的事实准确性方面取得的显著改进。

    Jun, 2024

  • 自我对齐以提高事实准确性：通过自我评估减少 LLMs 中的幻觉

    探索使用自我评估和自我知识调整的自对齐方法，以增强大语言模型的事实准确性。

    Feb, 2024

  • 增强 LLMs 与知识：关于幻觉防止的调查

    将预训练语言模型与外部知识源相结合，可以增强其上下文处理能力，克服传统语言模型的问题，如错觉、无依据的回答和可拓展性挑战。

    Sep, 2023

  • 基于伪知识图谱与多源知识图谱的大型语言模型增强在开放式问答中的应用

    采用伪图生成和原子知识验证相结合的框架，实现了在开放式问题回答环境中利用知识图谱 (KG) 增强大型语言模型 (LLM)，对于开放式问题的 ROUGE-L 得分至少提高 11.5，对于精确问题的准确度至少提高 7.5，并展示了在不同 KG 来源下的泛化能力。

    Feb, 2024