大型语言模型（LLMs）在识别知识冲突方面表现良好，但在确定具体的冲突知识并在相冲突的信息中给出不同的答案方面存在困难。为了解决这些问题，我们提出了一种基于指令的方法来增强 LLMs 以更好地实现这三个目标。进一步的分析显示，解决知识冲突的能力受到知识领域和提示文本等因素的巨大影响，而生成对知识冲突场景的稳健响应仍然是一个开放性的研究问题。

Oct, 2023

通过对大型语言模型（LLMs）的知识冲突进行深入分析，本调查报告重点研究了它们在融合上下文和参数化知识时所面临的复杂挑战。我们关注三类知识冲突：上下文 - 记忆、不同上下文之间和内部记忆冲突。这些冲突会严重影响 LLMs 的可信度和性能，尤其是在噪声和错误信息普遍存在的实际应用中。通过对这些冲突进行分类、探索其原因、研究 LLMs 在这些冲突下的行为以及回顾现有解决方案，本调查旨在为改善 LLMs 的鲁棒性提供策略，并成为推动这一发展领域研究的宝贵资源。

Mar, 2024

探索和解决检索增强语言模型中的知识冲突，提出了冲突 - 分离 - 对比解码（CD2）方法来更好地校准模型的置信度，实验证明 CD2 可以有效解决检索增强语言模型中的知识冲突。

Feb, 2024

利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。

Feb, 2024

通过构建自然语言处理任务中的大型语言模型，研究了知识推理的细节和方法，并提出了一个全面的知识推理框架 Chain-of-Knowledge（CoK），通过基于知识图的规则挖掘生成数据集，并结合人类知识探索过程的试错机制来提高模型学习的效果。实验证明，CoK 不仅在知识推理上，还在一般推理基准中具有优异的效果。

Jun, 2024

我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

Feb, 2024

大型语言模型在生成能力方面表现出色，但当仅依赖其内部知识时，容易出现幻觉，尤其是在回答需要不太常见的信息的问题时。基于检索的大型语言模型已经成为将其与外部知识结合的潜在解决方案，然而，最近的方法主要强调从非结构化文本语料库进行检索，忽视了底层结构。此外，当前领域存在一个显著的差距，即缺乏对异构知识源（如知识库和文本）上的大型语言模型进行有效定位的实际基准数据集。为了填补这一空白，我们精心策划了一个综合数据集，提出了两个独特挑战：（1）需要从开放域结构化和非结构化的知识源中检索信息的两跳多源问题，正确回答问题需要从结构化知识源中检索信息；（2）符号化查询（例如用于 Wikidata 的 SPARQL）的生成是一个关键要求，增加了额外的挑战。我们的数据集通过预定义的推理链自动生成和人工注释相结合的方式创建，我们还引入了一种新颖的方法，利用多个检索工具，包括文本段落检索和符号化语言辅助检索。我们的模型在解决上述推理挑战方面优于以往的方法。

Oct, 2023

大型语言模型（LLMs）在知识密集型任务中被广泛采用，通过其知识能力取得了令人印象深刻的性能。本研究提出了结构化知识的几何推理，其中以图结构连接了多个知识片段，模型需要填补遗漏的信息。我们使用 Knowledge Crosswords 进行了广泛的实验来评估现有的 LLMs 提示方法，在此基准测试中，附加了两种新方法，即 Staged Prompting 和 Verify-All，以增强 LLMs 的回溯和验证结构性约束的能力。结果表明，虽然基准方法对于简单问题表现良好但在困难问题上表现不佳，我们提出的 Verify-All 方法在性能上大幅优于其他方法，并且对于困难问题更加稳健。进一步分析发现，LLMs 在结构化知识的几何推理能力仍然不够强大或完美，易受选项顺序、特定结构模式、假设存在正确答案等因素的影响。

Oct, 2023

本文提出了一种系统性方法，通过对 LLMs 的参数化记忆进行质量控制来构建相应的反记忆，并借此进行了一系列受控实验，研究了 LLMs 在遇到知识冲突时的行为，发现 LLMs 在保持一致性和可信性的情况下，即使与其参数化记忆冲突，也可以高度接受外部证据，但在提供与其参数化记忆一致的信息时，它们也表现出强烈的确认偏差。这些结果对工具和检索增强 LLMs 的进一步开发和部署具有重要意义。

May, 2023

通过构建参数化知识图和引入外部知识，系统地研究了大型语言模型 (LLMs) 在与用户互动时，外部知识如何干扰其参数化知识；结果显示，LLMs 在遇到直接冲突或混淆信息时容易产生与其参数化知识不符的回复，暴露了整合外部知识时产生幻觉的风险。

Sep, 2023