Apr, 2023

实现自动电路发现以达到机理可解释性

PDF
TL;DR本文提出了一种名为 Automatic Circuit DisCovery (ACDC) 的算法，用于自动识别网络中的重要单元，通过在神经网络进行数据集、指标和单元的研究，可理解每个神经网络区域的功能及其组成的电路。
mechanistic interpretabilitytransformer modelsneural network regionalgorithmautomatic circuit discovery
发现论文，激发创造
  • 基于上下文分解的 Transformer 中的机制解释

    本文介绍了一种用于 transformers 的上下文分解的解释方法，可以捕捉不同输入特征或源内部组件对最终预测或目标内部组件输出的贡献，用于电路发现等任务，并通过实验验证了其在局部解释方面的出色能力。

    Jul, 2024

  • 视觉电路的自动发现

    基于视觉概念的神经元激活依赖和功能连接，我们提出了一种新的方法来提取深度视觉模型计算图的子图，从而防御大规模预训练模型的对抗攻击。

    Apr, 2024

  • 归因修补优于自动电路发现

    通过应用基于归因修补的简单方法来剔除神经网络中最不重要的边缘，我们的研究比现有方法在电路恢复方面具有更高的 AUC。

    Oct, 2023

  • 评估基于脑启发的模块化训练在机制可解释性的自动电路发现中的应用

    研究评估了一种称为 Brain-Inspired Modular Training (BIMT) 的新方法，通过改善神经网络的可解释性，显著提高了自动电路发现的效率和质量，同时超越了现有模型在电路质量、发现时间和稀疏性方面的性能。

    Jan, 2024

  • 定位 Transformer 中的跨任务序列延续电路

    通过对序列相似性任务的电路分析与比较，我们揭示了语义相关的序列依赖于具有类似角色的共享电路子图，并且共享计算结构的记录有助于更好地预测模型行为、识别错误和更安全的编辑过程，这对于构建更健壮、对齐和可解释的语言模型是一个关键步骤。

    Nov, 2023

  • 使用电路探针揭示变形金刚中的因果变量

    神经网络模型在各种复杂任务上取得了高性能，但它们所实现的算法往往难以解释。我们提出了一种新的分析技术 —— 电路探测，通过自动发现计算假定的中间变量的低层电路，实现了对模型参数级别的有针对性的切割，从而开展因果分析。我们对简单算术任务上的模型应用了这种方法，证明了它在（1）解密模型所学习的算法，（2）揭示模型内部结构以及（3）追踪电路在训练过程中的发展方面的有效性。我们将电路探测与其他方法在这三个实验中进行比较，发现它在效果上与现有的分析方法相当甚至更加有效。最后，我们在一个真实的应用案例中演示了电路探测的应用，发现了在 GPT2-Small 和 Medium 模型中负责主谓一致和反身指代的电路。

    Nov, 2023

  • 电路作为点集

    本文提出了一种新颖的电路设计方法，将电路组件视为点云，并使用基于 Transformer 的点云感知方法从电路中提取特征，实现了直接从原始数据进行特征提取，无需预处理，可进行端到端训练，并实现了高性能。该方法在拥堵预测任务和设计规则检查 (DRC) 违规预测任务中都取得了最先进的性能，并在对开放型 EDA 设计的研究中提供了源代码和预训练模型。

    Oct, 2023

  • 跨码器寻找可解释的 LLM 特征电路

    通过使用转码器，我们成功地将 MLP 子层训练为具有更宽、稀疏激活的 MLP 层，并在稀疏性、忠实度和人类可解释性方面至少与稀疏自编码器 (SAEs) 持平，进而通过 MLP 子层进行基于权重的电路分析，最终成功地解析出 GPT2-small 中的大于电路，并发现转码器在将包含 MLP 的模型计算分解为可解释电路方面具有良好效果。

    Jun, 2024

  • 学习 Transformer 程序

    本文介绍的一种采用编程语言设计的可调试 Transformer 程序可以替代机器学习传统编写的 Transformers 来解决一系列算法问题和 NLP 任务。

    Jun, 2023

  • 在 Transformer 语言模型中的电路组件重用

    通过电路分析，揭示了语言模型中行为的机制性可解释性。证明了观察的洞见既适用于特定任务的发现，也适用于一般算法的发现，并通过调整注意头以修复电路来证明了这一过程的相似性。结果表明，大型语言模型的行为可以通过一些可解释的任务通用算法构建模块和计算组件来解释。

    Oct, 2023