发现具有期望特性的变量绑定电路

Jul, 2023

发现具有期望特性的变量绑定电路

Discovering Variable Binding Circuitry with Desiderata

Xander Davies, Max Nadeau, Nikhil Prakash, Tamar Rott Shaham, David Bau

TL;DR我们介绍了一种方法，通过指定模型执行特定子任务的一组演化属性，自动识别执行该子任务的模型组件，作为概念验证，我们将该方法应用于自动发现 LLaMA-13B 中的共享变量绑定电路，成功将变量绑定定位到仅有的 9 个注意力头和最终记号的一个 MLP。

Abstract

Recent work has shown that computation in language models may be human-understandable, with successful efforts to localize and intervene on both single-unit features and input-output circuits. Here, we introduce

computation language models causal mediation experiments variable binding circuitry attention heads

发现论文，激发创造

使用电路探针揭示变形金刚中的因果变量

神经网络模型在各种复杂任务上取得了高性能，但它们所实现的算法往往难以解释。我们提出了一种新的分析技术 —— 电路探测，通过自动发现计算假定的中间变量的低层电路，实现了对模型参数级别的有针对性的切割，从而开展因果分析。我们对简单算术任务上的模型应用了这种方法，证明了它在（1）解密模型所学习的算法，（2）揭示模型内部结构以及（3）追踪电路在训练过程中的发展方面的有效性。我们将电路探测与其他方法在这三个实验中进行比较，发现它在效果上与现有的分析方法相当甚至更加有效。最后，我们在一个真实的应用案例中演示了电路探测的应用，发现了在 GPT2-Small 和 Medium 模型中负责主谓一致和反身指代的电路。

Nov, 2023

视觉电路的自动发现

基于视觉概念的神经元激活依赖和功能连接，我们提出了一种新的方法来提取深度视觉模型计算图的子图，从而防御大规模预训练模型的对抗攻击。

Apr, 2024

电路的索引感知学习

电路的设计是计算机辅助工程中的重要部分，而有关可调参数对最终设计的影响的量化需要新的方法。本文介绍了一种基于机器学习和改进的节点分析的方法，通过解耦系统方程，只学习微分变量并使用解耦关系重构代数变量，从而保证了代数约束的准确性。

Sep, 2023

稀疏特征电路：在语言模型中发现和编辑可解释性因果图

我们引入了一种发现和应用稀疏特征电路的方法，这些电路是人可解释特征的因果相关子网络，用于解释语言模型的行为。与以前的工作中的电路相反，稀疏特征电路基于细粒度单元，可以提供对预期之外的机制的详细理解，并且在下游任务中非常有用。我们介绍了 SHIFT，通过消除人类判断为任务无关的特征，改善了分类器的泛化能力。最后，我们展示了一个完全无监督和可扩展的可解释性流程，用于自动发现模型行为中的成千上万的稀疏特征电路。

Mar, 2024

使用线性计算图自动识别局部和全局电路

采用稀疏自编码器（SAEs）和跳跃 SAEs 为基础，引入电路发现流程，使用 Hierarchical Attribution 方法对于 GPT2-Small 模型分析了三种电路类型（括号电路、归纳电路和间接对象识别电路），揭示了现有发现之下的新发现。

May, 2024

用于贝叶斯因果发现的潜变量模型

该研究探讨了从高维数据中学习因果表示的挑战性问题，并引入了一种基于潜变量解码器模型的贝叶斯因果发现方法，在半监督和无监督的情况下进行了实验，表明使用已知的干预目标能够帮助结构和参数的无监督贝叶斯推断。

Jul, 2022

在 Transformer 语言模型中的电路组件重用

通过电路分析，揭示了语言模型中行为的机制性可解释性。证明了观察的洞见既适用于特定任务的发现，也适用于一般算法的发现，并通过调整注意头以修复电路来证明了这一过程的相似性。结果表明，大型语言模型的行为可以通过一些可解释的任务通用算法构建模块和计算组件来解释。

Oct, 2023

因果发现学习

本研究测试了一种基于神经网络的数据驱动因果关系发现方法，证明其比现有的人工设计的方法在神经网络和医学数据中表现更优秀。结果表明在已知因果关系的大数据集的监督下，学习因果发现程序是改进神经学和医学数据中因果关系的新途径。

Sep, 2022

基于神经贝叶斯估计的认知模型的潜变量序列识别

从计算认知模型中提取变化的潜在变量是模型基础神经分析的关键步骤，我们提出了一种方法，通过递归神经网络和模拟数据集，将神经贝叶斯估计扩展到学习实验数据和目标潜在变量空间之间的直接映射，从而在可处理和难度较大的模型中推断潜在变量序列，该方法适用于不同的计算模型和连续离散潜在空间，并在实际数据集中证明了其适用性。

Jun, 2024

实现自动电路发现以达到机理可解释性

本文提出了一种名为 Automatic Circuit DisCovery (ACDC) 的算法，用于自动识别网络中的重要单元，通过在神经网络进行数据集、指标和单元的研究，可理解每个神经网络区域的功能及其组成的电路。

Apr, 2023