自回归语言模型中事实关联的回忆解剖

Apr, 2023

自回归语言模型中事实关联的回忆解剖

Dissecting Recall of Factual Associations in Auto-Regressive Language Models

Mor Geva, Jasmijn Bastings, Katja Filippova, Amir Globerson

TL;DR本文通过信息流的视角研究了基于 Transformer 的语言模型如何在推理过程中检索参数中的实际知识，并通过对模型中注意力机制的介入实现了对预测中信息流的详细分析和理解。通过此研究，我们阐述了在语言模型中实现知识局部化和编辑的方法。

Abstract

transformer-based language models (LMs) are known to capture factual knowledge in their parameters. While previous work looked into where factual associations are stored, only little is known about how they are retrieved internally during inference. We investigate this question through

transformer-based language models factual knowledge information flow attribute extraction attention heads

发现论文，激发创造

GPT 中实际关联的定位和编辑

本文使用因果干预技术研究了自回归转换语言模型中实际关联的存储和检索，并发现这些关联对应于本地化的可直接编辑的计算。研究表明中间层前馈模块在存储实际关联方面具有重要作用，并且为模型编辑提供了直接操作计算机制的方法。

Feb, 2022

总结事实：LLMs 中事实回忆的叠加机制

基于 Transformer 的大型语言模型（LLMs）如何存储和检索知识？我们关注了这个任务的最基本形式 —— 事实召回，其中模型被要求在形如 “事实：斗兽场位于国家” 的提示中明确地呈现存储的事实。我们发现，基于事实召回的机制比之前认为的更为复杂。它包括几个不同、独立且具有不同质量的机制，这些机制通过加法组合，在正确的属性上进行构造性干扰。我们将这种通用现象称为加性模式：模型通过对多个独立的贡献求和来计算。每个机制的贡献本身可能不足够，但求和的结果在正确答案上产生了构造性干扰。此外，我们扩展了直接逻辑回归归因法的方法，将注意力头的输出归因给单个源标记。我们使用这种技术来解包我们所称的 ' 混合头部 '—— 它们本身是来自不同源标记的两个独立的加性更新的一对。

Feb, 2024

追溯语言模型中的事实知识来源于训练数据

本研究探讨了语言模型（LM）如何从训练数据中记忆大量的事实知识，同时提出了事实追溯的问题。为了解决该问题，比较了基于梯度和嵌入的两种不同的训练数据指向（TDA）方法，并发现仍有很大的改进空间。

May, 2022

定位和编辑 Mamba 中的事实关联

通过四条实验研究了 Mamba 状态空间模型中的实际记忆机制，发现其与自回归变压器语言模型在知识记忆的局部性和特定模块的相关性方面具有相似性，并且通过多种技术验证了 Mamba 的实际关系表示的线性性和信息流动。

Apr, 2024

LLM 的潜在概念关联和转换器中的联想记忆

大型语言模型具有存储和提取事实的能力，并且可以通过改变上下文来操纵提取事实的能力，揭示出它们可能像联想记忆模型一样行为，其中上下文中的某些令牌作为提取事实的线索。我们通过研究 transformer 如何完成此类记忆任务，对这一属性进行了数学探索，使用一个简单的单层 transformer 研究了简单的潜在概念关联问题，理论和经验都表明 transformer 使用自注意力来收集信息并使用值矩阵进行联想记忆。

Jun, 2024

基于 Transformer 的语言模型中实际回忆的关键机制解析

本文详细探讨了基于 Transformer 的语言模型在事实回忆任务中所使用的机制，包括零样本场景中通过任务特定的注意力头提取主题实体并传递给后续 MLP 以回忆所需答案，以及少样本场景中相同的机制。此外，我们还观察到在模型的最后一层存在普遍的抑制正确预测的反过度自信机制，并通过利用我们的解释来改善事实回忆性能。

Mar, 2024

Transformer 语言模型中的关系解码的线性性

基于 transformer 语言模型的研究中，发现存在一种简单而可解释的、但在各种情况下应用不一的知识表示策略，其主要通过关系、线性变换以及预测表达出来。

Aug, 2023

AttnLRP：面向 Transformer 的注意力感知分层相关传播

扩展対面层级相关传递方法以处理注意力层可以实现对大型语言模型进行准确且高效的非黑盒推理解释。

Feb, 2024

基于 Transformer 的知识归属模式挖掘

本文研究了 Knowledge Neurons 框架的知识神经元以及它们在 Transformer 网络中对于事实和关系知识的归因。研究发现，大多数的事实知识可以归属于网络的中高层。而中间层次则更多负责关系信息，最后数层则进一步提炼成实际的事实知识或 “正确答案”。此外，本文的实验还表明，该模型可处理不同语言的提示，但提供了类似的信息，进一步证明了多语言预训练技术的有效性。研究还将归属方案应用于语法知识，发现语法知识比事实知识更为分散。

May, 2022

在大型语言模型中寻找和提取关系概念

通过因果中介分析，我们在事实回忆过程中确认了能够表达实体和关系概念的隐藏状态，这些隐藏状态可以视为关系表示，并能够在大语言模型中提取出来。实验证明这些关系表示具有高的可信度，并且可以灵活地应用于其他事实回忆过程和实体连接。此外，我们还展示了关系表示在关系重写方面具有显著的可控事实回忆潜力。

Jun, 2024