本文研究了知识依赖任务中遇到的知识冲突问题，找出造成模型幻觉的原因，提出了一种简单的减轻过度依赖学习参数的方法，可以减少幻觉现象并提高模型的泛化性能。

Sep, 2021

探索和解决检索增强语言模型中的知识冲突，提出了冲突 - 分离 - 对比解码（CD2）方法来更好地校准模型的置信度，实验证明 CD2 可以有效解决检索增强语言模型中的知识冲突。

Feb, 2024

大型语言模型（LLMs）在识别知识冲突方面表现良好，但在确定具体的冲突知识并在相冲突的信息中给出不同的答案方面存在困难。为了解决这些问题，我们提出了一种基于指令的方法来增强 LLMs 以更好地实现这三个目标。进一步的分析显示，解决知识冲突的能力受到知识领域和提示文本等因素的巨大影响，而生成对知识冲突场景的稳健响应仍然是一个开放性的研究问题。

Oct, 2023

通过真实冲突文档更新错误的派生参数知识来研究知识冲突，结果显示模型的正确派生参数知识对其阅读能力和行为产生负面影响。

Apr, 2024

该研究介绍了一种半结构化提示方法，有效地整合了大型语言模型的参数记忆、文本文档的非结构化知识和知识图谱的结构化知识，并在开放领域的多跳问题回答数据集上进行实验证明了该提示方法显著优于现有技术，甚至超过了需要微调的方法。

Nov, 2023

通过构建参数化知识图和引入外部知识，系统地研究了大型语言模型 (LLMs) 在与用户互动时，外部知识如何干扰其参数化知识；结果显示，LLMs 在遇到直接冲突或混淆信息时容易产生与其参数化知识不符的回复，暴露了整合外部知识时产生幻觉的风险。

Sep, 2023

通过对大型语言模型（LLMs）的知识冲突进行深入分析，本调查报告重点研究了它们在融合上下文和参数化知识时所面临的复杂挑战。我们关注三类知识冲突：上下文 - 记忆、不同上下文之间和内部记忆冲突。这些冲突会严重影响 LLMs 的可信度和性能，尤其是在噪声和错误信息普遍存在的实际应用中。通过对这些冲突进行分类、探索其原因、研究 LLMs 在这些冲突下的行为以及回顾现有解决方案，本调查旨在为改善 LLMs 的鲁棒性提供策略，并成为推动这一发展领域研究的宝贵资源。

Mar, 2024

本文提出了一种系统性方法，通过对 LLMs 的参数化记忆进行质量控制来构建相应的反记忆，并借此进行了一系列受控实验，研究了 LLMs 在遇到知识冲突时的行为，发现 LLMs 在保持一致性和可信性的情况下，即使与其参数化记忆冲突，也可以高度接受外部证据，但在提供与其参数化记忆一致的信息时，它们也表现出强烈的确认偏差。这些结果对工具和检索增强 LLMs 的进一步开发和部署具有重要意义。

May, 2023

通过对大规模语言模型（LLMs）使用检索增强生成（RAG）来评估知识冲突的处理方法，特别是针对来源相同且具有相等可信度的检索到的段落，研究发现所有模型在提供包含相互矛盾的事实的两个段落时，都难以生成准确反映冲突性质的答案，尤其是对于需要推理的隐含冲突。为了促进未来的研究，通过引入一个自动化模型，该模型使用一个开源强大的语言模型估计 LLM 的性能，实现了 0.8 的 F 分数，并在所有 WikiContradict 实例上评估了来自七个 LLM 的 1500 多个答案。

Jun, 2024

本研究通过构建 ConflictingQA 数据集并进行敏感性和反事实分析，发现当前的检索增强语言模型（LLMs）在回答有争议问题时很大程度上依赖于网页与查询的相关性，而忽视了人类认为重要的文本特征，如文本是否包含科学参考文献或使用中性语调，这凸显了 RAG 数据集质量（如过滤信息错误）的重要性，甚至可能需要改变 LLMs 的训练方式以更好地与人类判断相一致。

Feb, 2024