Mar, 2024

LLM 学生的知识冲突调查

PDF
TL;DR通过对大型语言模型（LLMs）的知识冲突进行深入分析，本调查报告重点研究了它们在融合上下文和参数化知识时所面临的复杂挑战。我们关注三类知识冲突：上下文 - 记忆、不同上下文之间和内部记忆冲突。这些冲突会严重影响 LLMs 的可信度和性能，尤其是在噪声和错误信息普遍存在的实际应用中。通过对这些冲突进行分类、探索其原因、研究 LLMs 在这些冲突下的行为以及回顾现有解决方案，本调查旨在为改善 LLMs 的鲁棒性提供策略，并成为推动这一发展领域研究的宝贵资源。
发现论文，激发创造
  • 解决大型语言模型中的知识冲突

    大型语言模型（LLMs）在识别知识冲突方面表现良好，但在确定具体的冲突知识并在相冲突的信息中给出不同的答案方面存在困难。为了解决这些问题，我们提出了一种基于指令的方法来增强 LLMs 以更好地实现这三个目标。进一步的分析显示，解决知识冲突的能力受到知识领域和提示文本等因素的巨大影响，而生成对知识冲突场景的稳健响应仍然是一个开放性的研究问题。

    Oct, 2023

  • 知识之间的博弈：探索和解决检索增强语言模型中的知识冲突

    探索和解决检索增强语言模型中的知识冲突，提出了冲突 - 分离 - 对比解码（CD2）方法来更好地校准模型的置信度，实验证明 CD2 可以有效解决检索增强语言模型中的知识冲突。

    Feb, 2024

  • 解开纠纷：在大型语言模型中交织相互冲突的知识和推理技能

    利用新数据集 KNOT 对大型语言模型进行与知识冲突处理相关的能力检验，将冲突知识的推理划分为三个层次，即直接提取、显式推理和隐式推理，并通过详细实验建立了利用冲突知识的指导原则。

    Apr, 2024

  • 合并冲突！” 探究外部干扰因素对参数化知识图的影响

    通过构建参数化知识图和引入外部知识，系统地研究了大型语言模型 (LLMs) 在与用户互动时，外部知识如何干扰其参数化知识；结果显示，LLMs 在遇到直接冲突或混淆信息时容易产生与其参数化知识不符的回复，暴露了整合外部知识时产生幻觉的风险。

    Sep, 2023

  • 大型语言模型在知识冲突中的行为：自适应变色龙或顽固树懒

    本文提出了一种系统性方法，通过对 LLMs 的参数化记忆进行质量控制来构建相应的反记忆，并借此进行了一系列受控实验，研究了 LLMs 在遇到知识冲突时的行为，发现 LLMs 在保持一致性和可信性的情况下，即使与其参数化记忆冲突，也可以高度接受外部证据，但在提供与其参数化记忆一致的信息时，它们也表现出强烈的确认偏差。这些结果对工具和检索增强 LLMs 的进一步开发和部署具有重要意义。

    May, 2023

  • 大型语言模型（LLM）的利用中的挑战和影响因素

    当面临领域特定问题时，大语言模型（LLMs）可能会遇到问题，如知识遗忘、知识重复、知识幻觉以及知识毒性，这些问题突显了 LLMs 的训练数据和算法设计的困扰。为了解决这些问题，建议对训练数据进行多样化，微调模型，提高透明度和可解释性，并引入伦理和公平性培训。未来的技术趋势可能会倾向于迭代方法学、多模态学习、模型个性化定制以及实时学习和反馈机制。最重要的是，未来的 LLMs 应确保在为人类服务时优先考虑公平、透明和伦理，确保它们持有高的道义和道德标准。

    Oct, 2023

  • 勿妄为，自制自己：通过多个 LLM 协作识别 LLM 知识盲点

    通过合作和竞争的方式，提出了两种新的方法来识别大型语言模型的知识缺口，并在检索增强和多跳推理中帮助识别失败案例和知识缺口。

    Feb, 2024

  • 研究大型语言模型在现实知识冲突下的行为

    通过真实冲突文档更新错误的派生参数知识来研究知识冲突，结果显示模型的正确派生参数知识对其阅读能力和行为产生负面影响。

    Apr, 2024

  • 大型语言模型与知识图谱：机遇与挑战

    大型语言模型在知识表示领域和全球范围内席卷而来，这标志着从显式知识表示转向对显式知识和参数化知识的混合表示的全新关注点。本位置论文将讨论在 LLMs（参数化知识）和知识图谱（显式知识）社区内的一些常见争议点，并推测这种新关注点带来的机遇和愿景，以及相关的研究主题和挑战。

    Aug, 2023

  • 基于实体的问答中的知识冲突

    本文研究了知识依赖任务中遇到的知识冲突问题，找出造成模型幻觉的原因，提出了一种简单的减轻过度依赖学习参数的方法，可以减少幻觉现象并提高模型的泛化性能。

    Sep, 2021