电路意味着什么？知识编辑视角

Jun, 2024

What Do the Circuits Mean? A Knowledge Edit View

Huaizhi Ge, Frank Rudzicz, Zining Zhu

TL;DR通过知识编辑的视角，我们介绍了一种学习语言模型电路的新方法。通过在 GPT2-XL 模型中提取电路，使用多样的文本分类数据集和层次关系数据集，我们发现这些电路包含实体知识，但在知识编辑中对新知识的抵抗力高于互补电路。此外，我们研究了电路尺寸的影响，发现理想的电路可能包含模型参数的 5% 至 50%。我们还检查了不同数据集中电路之间的重叠情况，发现中等相似性。总之，我们的研究结果为电路的功能提供了新的见解，并引入了进一步解释性和安全性研究的方向。

Abstract

In the field of language model interpretability, circuit discovery is gaining popularity. Despite this, the true meaning of these circuits remain largely unanswered. We introduce a novel method to learn their mea

language model interpretability circuit discovery knowledge editing entity knowledge knowledge localization

发现论文，激发创造

预训练 Transformer 中的知识传递

研究人员通过深入研究语言模型的计算图，发现知识电路在表达特定知识方面起到了重要作用。他们还评估了当前知识编辑技术对这些知识电路的影响，并利用知识电路分析和解释语言模型的行为。这些研究为我们理解 Transformer 的工作原理以及指导知识编辑的改进设计提供了深入的见解。

May, 2024

将文本提炼为电路

本文利用 DisCoCirc 框架，提出了一种适用于自然语言的生成文本电路，该电路独立于语音和语言，并能够在不同表现层次上捕获和更新单词、句子和文本内涵，并通过构建混合语法和翻译过程，实现了文本生成和解析的循环互逆。

Jan, 2023

稀疏特征电路：在语言模型中发现和编辑可解释性因果图

我们引入了一种发现和应用稀疏特征电路的方法，这些电路是人可解释特征的因果相关子网络，用于解释语言模型的行为。与以前的工作中的电路相反，稀疏特征电路基于细粒度单元，可以提供对预期之外的机制的详细理解，并且在下游任务中非常有用。我们介绍了 SHIFT，通过消除人类判断为任务无关的特征，改善了分类器的泛化能力。最后，我们展示了一个完全无监督和可扩展的可解释性流程，用于自动发现模型行为中的成千上万的稀疏特征电路。

Mar, 2024

在 Transformer 语言模型中的电路组件重用

通过电路分析，揭示了语言模型中行为的机制性可解释性。证明了观察的洞见既适用于特定任务的发现，也适用于一般算法的发现，并通过调整注意头以修复电路来证明了这一过程的相似性。结果表明，大型语言模型的行为可以通过一些可解释的任务通用算法构建模块和计算组件来解释。

Oct, 2023

电路变压器：通过预测下一个门实现端到端电路设计

通过预测下一个逻辑门，使用基于 Transformer 的神经模型对电子设计任务进行了改进，取得了显著的性能提升，并保持了严格的等效性约束。

Mar, 2024

字典学习改善机械解释性中无补丁电路发现：以奥赛罗 - GPT 为例

基于稀疏字典学习和机制解释性，提出了一种电路发现框架，用于从模型激活中提取更多人可理解的特征。该框架能够识别连接大量字典特征的电路，并在渐近复杂度方面具有更高的效率。在合成任务 Othello 的小型 Transformer 中，发现了许多人可理解的细粒度电路。

Feb, 2024

学习逻辑电路

本文提出了一种称为逻辑电路的新分类模型，并证明其具有符号人工智能的独特起源，该模型通过局部搜索算法实现从数据中得到强有力的模型结构，且其参数学习是凸优化问题。在 MNIST 和时装数据集上，我们的学习算法胜过拥有数量级更多参数的神经网络。

Feb, 2019

使用线性计算图自动识别局部和全局电路

采用稀疏自编码器（SAEs）和跳跃 SAEs 为基础，引入电路发现流程，使用 Hierarchical Attribution 方法对于 GPT2-Small 模型分析了三种电路类型（括号电路、归纳电路和间接对象识别电路），揭示了现有发现之下的新发现。

May, 2024

视觉电路的自动发现

基于视觉概念的神经元激活依赖和功能连接，我们提出了一种新的方法来提取深度视觉模型计算图的子图，从而防御大规模预训练模型的对抗攻击。

Apr, 2024

从语言到电路：使用自然语言描述生成可运行的电子设备

本文介绍了一项新的研究成果，展示了当代语言模型具有电子电路设计技能的能力，类似于代码生成。研究人员引入了两个基准：评估模型知识电气元件的 Pins100 和评估模型设计常见微控制器电路和代码的 Micro25。其中包括六个案例研究，展示语言模型作为设计助手的应用，同时提出了一些研究挑战和发展方向建议。

May, 2023