Mar, 2024

稀疏特征电路：在语言模型中发现和编辑可解释性因果图

PDF
TL;DR我们引入了一种发现和应用稀疏特征电路的方法，这些电路是人可解释特征的因果相关子网络，用于解释语言模型的行为。与以前的工作中的电路相反，稀疏特征电路基于细粒度单元，可以提供对预期之外的机制的详细理解，并且在下游任务中非常有用。我们介绍了 SHIFT，通过消除人类判断为任务无关的特征，改善了分类器的泛化能力。最后，我们展示了一个完全无监督和可扩展的可解释性流程，用于自动发现模型行为中的成千上万的稀疏特征电路。
sparse feature circuitslanguage model behaviorsinterpretability pipelineshiftdownstream tasks
发现论文，激发创造
  • 跨码器寻找可解释的 LLM 特征电路

    通过使用转码器，我们成功地将 MLP 子层训练为具有更宽、稀疏激活的 MLP 层，并在稀疏性、忠实度和人类可解释性方面至少与稀疏自编码器 (SAEs) 持平，进而通过 MLP 子层进行基于权重的电路分析，最终成功地解析出 GPT2-small 中的大于电路，并发现转码器在将包含 MLP 的模型计算分解为可解释电路方面具有良好效果。

    Jun, 2024

  • 基于稀疏自编码器的可扩展可靠电路识别在语言模型中的应用

    介绍了一种使用离散稀疏自编码器在大型语言模型中发现可解释电路的高效且健壮的方法，通过训练稀疏自编码器，我们能够从仅有的正例中直接识别与电路相关的注意力头，实现了较高的准确率和召回率，同时降低运行时间。

    May, 2024

  • 稀疏自编码器发现语言模型中的高度可解释特征

    使用稀疏自编码器识别语言模型内部的方向，以消除超级位置现象，并达到模型的透明度和可操控性。

    Sep, 2023

  • 视觉电路的自动发现

    基于视觉概念的神经元激活依赖和功能连接，我们提出了一种新的方法来提取深度视觉模型计算图的子图，从而防御大规模预训练模型的对抗攻击。

    Apr, 2024

  • PURE: 通过识别相关电路将多义性神经元转化为纯特征

    我们提出了一种方法，通过将多义性神经元分解为多个单义性的 “虚拟” 神经元，从而解开深度神经网络中的多义性，实现了深度神经网络的解释性。

    Apr, 2024

  • 使用线性计算图自动识别局部和全局电路

    采用稀疏自编码器（SAEs）和跳跃 SAEs 为基础，引入电路发现流程，使用 Hierarchical Attribution 方法对于 GPT2-Small 模型分析了三种电路类型（括号电路、归纳电路和间接对象识别电路），揭示了现有发现之下的新发现。

    May, 2024

  • 字典学习改善机械解释性中无补丁电路发现：以奥赛罗 - GPT 为例

    基于稀疏字典学习和机制解释性，提出了一种电路发现框架，用于从模型激活中提取更多人可理解的特征。该框架能够识别连接大量字典特征的电路，并在渐近复杂度方面具有更高的效率。在合成任务 Othello 的小型 Transformer 中，发现了许多人可理解的细粒度电路。

    Feb, 2024

  • 电路意味着什么？知识编辑视角

    通过知识编辑的视角，我们介绍了一种学习语言模型电路的新方法。通过在 GPT2-XL 模型中提取电路，使用多样的文本分类数据集和层次关系数据集，我们发现这些电路包含实体知识，但在知识编辑中对新知识的抵抗力高于互补电路。此外，我们研究了电路尺寸的影响，发现理想的电路可能包含模型参数的 5% 至 50%。我们还检查了不同数据集中电路之间的重叠情况，发现中等相似性。总之，我们的研究结果为电路的功能提供了新的见解，并引入了进一步解释性和安全性研究的方向。

    Jun, 2024

  • 用于表格生物医学数据的局部稀疏神经网络

    本研究提出了一种适用于生物医学领域、intrinsically interpretable 的神经网络框架，采用局部稀疏网络和 gating 网络实现对样本的 sample-specific sparsity 预测，减少了对小样本数据的过拟合，提高了模型的可解释性，并证明了该模型在生物预测任务中的优越性。

    Jun, 2021

  • 发现具有期望特性的变量绑定电路

    我们介绍了一种方法，通过指定模型执行特定子任务的一组演化属性，自动识别执行该子任务的模型组件，作为概念验证，我们将该方法应用于自动发现 LLaMA-13B 中的共享变量绑定电路，成功将变量绑定定位到仅有的 9 个注意力头和最终记号的一个 MLP。

    Jul, 2023