该论文通过对多个大型语言模型的行为研究发现，训练数据的记忆和频率偏好是导致生成式大型语言模型产生幻觉的两个主要因素，这些模型在自然语言推断等应用任务中表现出明显的问题。

May, 2023

本文着重探讨了大型语言模型（LLMs）及其在生成创造性写作和问答系统等方面的应用，并提供了一种基于损失的数学抽象模型来平衡模型的创造性和真实性。

Jun, 2023

通过构建参数化知识图和引入外部知识，系统地研究了大型语言模型 (LLMs) 在与用户互动时，外部知识如何干扰其参数化知识；结果显示，LLMs 在遇到直接冲突或混淆信息时容易产生与其参数化知识不符的回复，暴露了整合外部知识时产生幻觉的风险。

Sep, 2023

将预训练语言模型与外部知识源相结合，可以增强其上下文处理能力，克服传统语言模型的问题，如错觉、无依据的回答和可拓展性挑战。

Sep, 2023

通过知识融合的方法，将预先训练的大型语言模型相互结合，以提升目标模型的性能表现，实现在推理、常识与代码生成等多种能力上的改进。

Jan, 2024

通过知识一致性对齐的新方法，减少外部知识与预训练语料库中的内在知识之间的不一致，以减轻大型语言模型在对齐过程中出现的幻觉现象，并证实了知识不一致性与幻觉之间的相关性。

Jan, 2024

融合外部知识到大型语言模型（LLMs）中，以克服其古老且静态参数化记忆所带来的局限性，增强LLMs在知识整合方面的能力成为很有前景的解决方案。然而，先前的研究倾向于过度依赖外部知识，低估了LLMs内在参数化知识的宝贵贡献。尤其是在外部知识不完整且需要参数化知识补充的情况下，LLMs在混合外部和参数化知识方面的有效性仍然未被广泛探索。本研究将知识融合拆解成四个不同的场景，并首次对LLMs在每个场景下的行为进行了系统研究。我们开发了一个系统化的数据构建和知识注入流程来模拟这些融合场景，从而进行了一系列的对照实验。我们的调查结果表明，增强LLMs内部的参数化知识可以显著增强它们的知识整合能力。然而，我们发现在记忆和引出参数化知识以及确定参数化知识边界方面仍然存在挑战。我们的研究结果旨在引导未来对LLMs内部外部知识协调的探索。

May, 2024

最近大规模语言模型在摘要系统的能力方面取得了重大进展；然而，仍然存在关于虚构信息的担忧。本研究评估了对话摘要中大语言模型的准确性，使用人工注释，并着重于识别和分类分段级别的不一致性。通过比较行为差异，我们提出了一种错误的细分分类方法，并引入了两种基于提示的方法以更好地检测这些细微错误。

Jun, 2024

本研究探讨了大型语言模型在回答开放式问题时，如何在局部上下文和全局参数之间分配知识。通过引入新数据集WikiAtomic，分析模型在不同上下文大小下的知识利用方式，揭示了在上下文增加时，模型对上下文知识的依赖显著高于参数知识，同时有效减少了幻觉现象。这些发现强调了优化上下文组织的重要性，并为更有效的模型开发提供了新视角。

Sep, 2024

本研究针对大型语言模型（LLMs）在知识一致的情境中，如何在本地上下文与全局参数之间分配知识的问题进行了深入分析。我们提出了一种新数据集WikiAtomic，并通过系统性地变化上下文大小，发现模型对上下文的依赖约占70%，而参数知识则约占30%，且随着上下文的增加，模型的幻觉现象减少。这一发现强调了上下文组织的有效性及其在模型鲁棒性中的潜在影响。

Sep, 2024