大型语言模型在知识冲突中的行为：自适应变色龙或顽固树懒

May, 2023

大型语言模型在知识冲突中的行为：自适应变色龙或顽固树懒

Adaptive Chameleon or Stubborn Sloth: Unraveling the Behavior of Large Language Models in Knowledge Conflicts

Jian Xie, Kai Zhang, Jiangjie Chen, Renze Lou, Yu Su

TL;DR本文提出了一种系统性方法，通过对 LLMs 的参数化记忆进行质量控制来构建相应的反记忆，并借此进行了一系列受控实验，研究了 LLMs 在遇到知识冲突时的行为，发现 LLMs 在保持一致性和可信性的情况下，即使与其参数化记忆冲突，也可以高度接受外部证据，但在提供与其参数化记忆一致的信息时，它们也表现出强烈的确认偏差。这些结果对工具和检索增强 LLMs 的进一步开发和部署具有重要意义。

Abstract

By providing external information to large language models (LLMs), tool augmentation (including retrieval augmentation) has emerged as a promising solution for addressing the limitations of LLMs' static parametric memor

large language models tool augmentation external evidence parametric memory confirmation bias

发现论文，激发创造

合并冲突！” 探究外部干扰因素对参数化知识图的影响

通过构建参数化知识图和引入外部知识，系统地研究了大型语言模型 (LLMs) 在与用户互动时，外部知识如何干扰其参数化知识；结果显示，LLMs 在遇到直接冲突或混淆信息时容易产生与其参数化知识不符的回复，暴露了整合外部知识时产生幻觉的风险。

Sep, 2023

知识之间的博弈：探索和解决检索增强语言模型中的知识冲突

探索和解决检索增强语言模型中的知识冲突，提出了冲突 - 分离 - 对比解码（CD2）方法来更好地校准模型的置信度，实验证明 CD2 可以有效解决检索增强语言模型中的知识冲突。

Feb, 2024

解决大型语言模型中的知识冲突

大型语言模型（LLMs）在识别知识冲突方面表现良好，但在确定具体的冲突知识并在相冲突的信息中给出不同的答案方面存在困难。为了解决这些问题，我们提出了一种基于指令的方法来增强 LLMs 以更好地实现这三个目标。进一步的分析显示，解决知识冲突的能力受到知识领域和提示文本等因素的巨大影响，而生成对知识冲突场景的稳健响应仍然是一个开放性的研究问题。

Oct, 2023

大型语言模型的外部和参数知识融合评估

融合外部知识到大型语言模型（LLMs）中，以克服其古老且静态参数化记忆所带来的局限性，增强 LLMs 在知识整合方面的能力成为很有前景的解决方案。然而，先前的研究倾向于过度依赖外部知识，低估了 LLMs 内在参数化知识的宝贵贡献。尤其是在外部知识不完整且需要参数化知识补充的情况下，LLMs 在混合外部和参数化知识方面的有效性仍然未被广泛探索。本研究将知识融合拆解成四个不同的场景，并首次对 LLMs 在每个场景下的行为进行了系统研究。我们开发了一个系统化的数据构建和知识注入流程来模拟这些融合场景，从而进行了一系列的对照实验。我们的调查结果表明，增强 LLMs 内部的参数化知识可以显著增强它们的知识整合能力。然而，我们发现在记忆和引出参数化知识以及确定参数化知识边界方面仍然存在挑战。我们的研究结果旨在引导未来对 LLMs 内部外部知识协调的探索。

May, 2024

LLM 学生的知识冲突调查

通过对大型语言模型（LLMs）的知识冲突进行深入分析，本调查报告重点研究了它们在融合上下文和参数化知识时所面临的复杂挑战。我们关注三类知识冲突：上下文 - 记忆、不同上下文之间和内部记忆冲突。这些冲突会严重影响 LLMs 的可信度和性能，尤其是在噪声和错误信息普遍存在的实际应用中。通过对这些冲突进行分类、探索其原因、研究 LLMs 在这些冲突下的行为以及回顾现有解决方案，本调查旨在为改善 LLMs 的鲁棒性提供策略，并成为推动这一发展领域研究的宝贵资源。

Mar, 2024

解开纠纷：在大型语言模型中交织相互冲突的知识和推理技能

利用新数据集 KNOT 对大型语言模型进行与知识冲突处理相关的能力检验，将冲突知识的推理划分为三个层次，即直接提取、显式推理和隐式推理，并通过详细实验建立了利用冲突知识的指导原则。

Apr, 2024

丰富的知识来源会带来复杂的知识冲突：重新校准模型以反映冲突的证据

本论文探讨了问题回答模型如何使用丰富的知识源，同时我们模拟了知识冲突并发现检索性能对模型所依赖的知识源有很大影响，我们发现当前的模型大多依赖非参数化知识。为解决此问题，我们在本论文中提出了一项新的校准研究，以避免在检索出多个冲突答案选项时，让模型给出任何单一答案。

Oct, 2022

直观还是依赖？探究 LLMs 对冲突提示的稳健性

该论文研究了 LLMs 对其内部记忆或给定提示的偏好鲁棒性，探讨了两种鲁棒性类型，即事实鲁棒性和决策风格，并发现这些模型对误导性提示非常敏感，在引导常识知识方面尤其如此。通过不同的角色指令对不同规模的 LLMs 进行干预实验，揭示了它们的鲁棒性和适应性的上限差异。

Sep, 2023

研究大型语言模型在现实知识冲突下的行为

通过真实冲突文档更新错误的派生参数知识来研究知识冲突，结果显示模型的正确派生参数知识对其阅读能力和行为产生负面影响。

Apr, 2024

外部推理：朝着多大语言模型互换人类反馈的辅助方向

通过对 LLMs 的选择性整合外部知识，介绍了一种基于多个 LLM 之间交互协助的外部推理新方法 (ChatPDF)，在人类反馈的响应下，根据查询的复杂性调整支持水平，经过全面评估后取得了最先进的性能，并且相比 LLMs 直接处理全文，这种方法更加高效。

Jul, 2023