Sep, 2024

大型语言模型中上下文忠实性的研究：记忆强度和证据风格的作用

HTML
PDF
TL;DR本研究针对大型语言模型（LLMs）在生成响应时的上下文忠实性进行调查，填补了此前研究的 gaps。我们提出了一种量化 LLM 记忆强度的方法，并评估了证据呈现风格对其影响。研究发现，对于高记忆强度的问题，LLMs 更倾向于依赖内部记忆，而呈现不同风格的证据能显著提高其接受度。
发现论文，激发创造
  • 当不应信任语言模型：探究参数式与非参数式记忆的有效性和局限性

    此论文通过在新的问题/答案（QA）数据集PopQA上对10个模型和4种增强方法进行大规模的知识探测实验，旨在了解大型语言模型(LMs)在记忆事实知识方面的优劣，发现LMs在纽约市场上的市场地位相对较低，而检索增强的LMs在不需要检索的情况下可以显著地改善性能，并降低推理成本。

    Dec, 2022

  • 评估检索增强型大语言模型的归属和流畅度平衡

    研究探讨了在知识密集型对话设置中，提示检索证据的LLMs的流畅度与归属之间的关系，并提出了改善LLMs总体质量的方法。实验结果显示，更大的模型在流畅度和属性方面表现更好，并且使用top-k检索可以提高属性，但有损于流畅度。研究提出了一种可使较小模型赶上更大模型并保持top-k检索优势的方法。

    Feb, 2023

  • 大型语言模型输出的评估：话语和记忆

    通过对九个流行的大型语言模型的各种生成输出进行经验评估，发现输出中包含的记忆文本比例、独特文本比例和总体输出质量存在关联性，其中高质量的输出中包含的记忆文本比例较高。并提出缓解策略和质量文本的评估方法。

    Apr, 2023

  • 大型语言模型在知识冲突中的行为：自适应变色龙或顽固树懒

    本文提出了一种系统性方法，通过对LLMs的参数化记忆进行质量控制来构建相应的反记忆，并借此进行了一系列受控实验，研究了LLMs在遇到知识冲突时的行为，发现LLMs在保持一致性和可信性的情况下，即使与其参数化记忆冲突，也可以高度接受外部证据，但在提供与其参数化记忆一致的信息时，它们也表现出强烈的确认偏差。这些结果对工具和检索增强LLMs的进一步开发和部署具有重要意义。

    May, 2023

  • FreshLLMs: 利用搜索引擎增强大型语言模型

    本研究重点研究了大型语言模型在回答当前世界知识测试问题方面生成文本的真实性，提出了FreshQA动态问答基准和FreshPrompt强化性指示方法，通过使用相关和最新信息从搜索引擎检索来提高大型语言模型的性能。

    Oct, 2023

  • RAG模型的忠实程度：量化RAG与LLMs内部先验之间的博弈

    通过系统分析语言模型的内部知识和检索信息间的冲突来回答疑问，我们发现正确的检索信息可以修复大多数模型错误，但当参考文档中存在错误信息时，模型的内部知识对该错误信息存在较大的依赖性。这些结果突显了模型的先验知识与参考文档中呈现的信息之间的潜在紧张关系。

    Apr, 2024

  • 从RAG到丰富参数：探索语言模型如何利用外部知识和参数信息来处理事实查询

    检视检索增强生成 (RAG) 方法，揭示语言模型倾向于仅依赖上下文信息来回答问题，而较少使用参数化记忆，通过因果中介分析和注意力机制等方法来证明该机械行为。

    Jun, 2024

  • 理解大型语言模型中的记忆：动态、影响因素及其影响

    本研究解决了大型语言模型（LLMs）记忆训练数据的程度及其对输出可靠性和隐私的影响。作者提出了一种实验框架，通过反复向LLMs展示随机字符串，从而分析模型行为，发现不同模型具有一致的记忆动态，并识别了影响记忆能力的因素及当地前缀和全局上下文的作用。这些发现对LLMs的研究和应用具有重要的影响。

    Jul, 2024

  • 当上下文领导而参数记忆跟随在大型语言模型中

    本研究探讨了大型语言模型在回答开放式问题时，如何在局部上下文和全局参数之间分配知识。通过引入新数据集WikiAtomic，分析模型在不同上下文大小下的知识利用方式，揭示了在上下文增加时，模型对上下文知识的依赖显著高于参数知识，同时有效减少了幻觉现象。这些发现强调了优化上下文组织的重要性，并为更有效的模型开发提供了新视角。

    Sep, 2024

  • 当上下文主导，而参数记忆随之而来：在大语言模型中的研究

    本研究针对大型语言模型（LLMs）在知识一致的情境中，如何在本地上下文与全局参数之间分配知识的问题进行了深入分析。我们提出了一种新数据集WikiAtomic，并通过系统性地变化上下文大小，发现模型对上下文的依赖约占70%，而参数知识则约占30%，且随着上下文的增加，模型的幻觉现象减少。这一发现强调了上下文组织的有效性及其在模型鲁棒性中的潜在影响。

    Sep, 2024