Feb, 2024

斩首结束冲突：解析和缓解语言模型中的知识冲突机制

PDF
TL;DR通过信息流的角度解释知识冲突的机制，并在关键点进行精确干预，以解决语言模型中的知识冲突问题。通过剪枝冲突的注意力头部，我们提出了一种称为 PH3 的新方法，它可以高效地减轻知识冲突，并能改善语言模型在开放领域 QA 任务上的性能。
发现论文，激发创造
  • 知识之间的博弈：探索和解决检索增强语言模型中的知识冲突

    探索和解决检索增强语言模型中的知识冲突，提出了冲突 - 分离 - 对比解码（CD2）方法来更好地校准模型的置信度，实验证明 CD2 可以有效解决检索增强语言模型中的知识冲突。

    Feb, 2024

  • 语言模型中事实性回忆机制的表征

    利用头部归因方法控制模型行为，将模型表现局部化，并提供了一种概念验证方法，展示如何在运行时动态地控制模型行为。

    Oct, 2023

  • 检索式机制解释长上下文真实性

    通过系统调查，发现特定类型的注意力头在检索信息和长范文本中具有重要作用，称之为检索头，它们在转换器模型中普遍存在，稀疏且动态激活，对于链接思考推理和避免虚幻现象有深远影响。

    Apr, 2024

  • 解决大型语言模型中的知识冲突

    大型语言模型（LLMs）在识别知识冲突方面表现良好，但在确定具体的冲突知识并在相冲突的信息中给出不同的答案方面存在困难。为了解决这些问题，我们提出了一种基于指令的方法来增强 LLMs 以更好地实现这三个目标。进一步的分析显示，解决知识冲突的能力受到知识领域和提示文本等因素的巨大影响，而生成对知识冲突场景的稳健响应仍然是一个开放性的研究问题。

    Oct, 2023

  • 解开纠纷：在大型语言模型中交织相互冲突的知识和推理技能

    利用新数据集 KNOT 对大型语言模型进行与知识冲突处理相关的能力检验，将冲突知识的推理划分为三个层次，即直接提取、显式推理和隐式推理，并通过详细实验建立了利用冲突知识的指导原则。

    Apr, 2024

  • 大型语言模型在知识冲突中的行为：自适应变色龙或顽固树懒

    本文提出了一种系统性方法，通过对 LLMs 的参数化记忆进行质量控制来构建相应的反记忆，并借此进行了一系列受控实验，研究了 LLMs 在遇到知识冲突时的行为，发现 LLMs 在保持一致性和可信性的情况下，即使与其参数化记忆冲突，也可以高度接受外部证据，但在提供与其参数化记忆一致的信息时，它们也表现出强烈的确认偏差。这些结果对工具和检索增强 LLMs 的进一步开发和部署具有重要意义。

    May, 2023

  • LLM 学生的知识冲突调查

    通过对大型语言模型（LLMs）的知识冲突进行深入分析，本调查报告重点研究了它们在融合上下文和参数化知识时所面临的复杂挑战。我们关注三类知识冲突：上下文 - 记忆、不同上下文之间和内部记忆冲突。这些冲突会严重影响 LLMs 的可信度和性能，尤其是在噪声和错误信息普遍存在的实际应用中。通过对这些冲突进行分类、探索其原因、研究 LLMs 在这些冲突下的行为以及回顾现有解决方案，本调查旨在为改善 LLMs 的鲁棒性提供策略，并成为推动这一发展领域研究的宝贵资源。

    Mar, 2024

  • 合并冲突！” 探究外部干扰因素对参数化知识图的影响

    通过构建参数化知识图和引入外部知识，系统地研究了大型语言模型 (LLMs) 在与用户互动时，外部知识如何干扰其参数化知识；结果显示，LLMs 在遇到直接冲突或混淆信息时容易产生与其参数化知识不符的回复，暴露了整合外部知识时产生幻觉的风险。

    Sep, 2023

  • 基于实体的问答中的知识冲突

    本文研究了知识依赖任务中遇到的知识冲突问题，找出造成模型幻觉的原因，提出了一种简单的减轻过度依赖学习参数的方法，可以减少幻觉现象并提高模型的泛化性能。

    Sep, 2021

  • 识别语义引导头以理解上下文学习

    通过对注意力头的运行进行详细分析，我们发现特定的注意力头在上下文学习的能力中具有重要的语义联系，从而推进了我们对 transformers 中注意力头运行的复杂操作和大语言模型上下文学习的新洞察。

    Feb, 2024