Nov, 2023

使用电路探针揭示变形金刚中的因果变量

PDF
TL;DR神经网络模型在各种复杂任务上取得了高性能，但它们所实现的算法往往难以解释。我们提出了一种新的分析技术 —— 电路探测，通过自动发现计算假定的中间变量的低层电路，实现了对模型参数级别的有针对性的切割，从而开展因果分析。我们对简单算术任务上的模型应用了这种方法，证明了它在（1）解密模型所学习的算法，（2）揭示模型内部结构以及（3）追踪电路在训练过程中的发展方面的有效性。我们将电路探测与其他方法在这三个实验中进行比较，发现它在效果上与现有的分析方法相当甚至更加有效。最后，我们在一个真实的应用案例中演示了电路探测的应用，发现了在 GPT2-Small 和 Medium 模型中负责主谓一致和反身指代的电路。
neural network modelsinterpretabilitycircuit probingcausal analysismodel parameters
发现论文，激发创造
  • 追踪和操作神经数学问题求解器中的中间值

    针对语言模型处理多步推理的复杂输入方式缺乏深刻理解的状况，本研究提出了通过基于简单算术问题及其中间值来分析 Transformer 模型处理这些输入的方法，并使用 PCA 测量了模型激活和中间值之间的相关性。结果显示模型对特定中间值有局部性，这有助于增强模型的可解释性。

    Jan, 2023

  • 发现具有期望特性的变量绑定电路

    我们介绍了一种方法，通过指定模型执行特定子任务的一组演化属性，自动识别执行该子任务的模型组件，作为概念验证，我们将该方法应用于自动发现 LLaMA-13B 中的共享变量绑定电路，成功将变量绑定定位到仅有的 9 个注意力头和最终记号的一个 MLP。

    Jul, 2023

  • 自然语言下形态 - 句法因果分析

    本文提出了一种自然语言中以输入层面干预的方法，使用这种方法可以对神经网络模型进行因果探究，实验结果表明，这种自然干预的方法可以稳定地估算出各种语言属性的因果影响，这在分析预训练模型时非常重要。

    May, 2022

  • 从特征可视化到视觉电路：对抗模型操控的效果

    通过提出一种名为 ProxPulse 的新攻击方法，揭示了视觉电路的可操作性问题，这为深度神经网络的机械解释性提供了新的研究方向。

    Jun, 2024

  • 神经网络稳健可解释性的因果分析

    本文提出了一种基于因果分析的鲁棒性干预方法，以捕获神经网络内部的因果机制，从而审核模型行为，获得更加稳定和可信的解释，该方法适用于图像分类等任务。

    May, 2023

  • 可操作电路实现因果推断

    研究发现，利用算术电路可以在非参数因果图上进行推理，从而实现在原先被认为无法处理的模型上进行有参数因果推断。

    Feb, 2022

  • 人工神经网络探究：来自神经科学的启示

    这篇文章探讨从神经科学角度出发，在进行机器学习的探索性研究时，通过指定研究目标且明确探针设计的方向和表现性来实现对于感兴趣特征激活模式的监督模型

    Apr, 2021

  • 使用线性分类器探测中间层

    通过监测神经网络模型每个层的特征并测量其对分类的适用性，使用线性分类器（即 “探针”）完全独立于模型本身进行训练，这有助于更好地理解中间层的作用和动态，并可用于诊断潜在问题。将此技术应用于 Inception v3 和 Resnet-50 等流行模型，实验证明，特征的线性可分性沿模型深度单调增加。

    Oct, 2016

  • INSPECT: 代码 Transformer 的内在和系统探测评估

    我们使用探测任务来检验预训练模型对源代码的学习程度，并发现结构信息对源代码的特征表示具有改进效果，同时发现 BERT 在某些探测任务上与源代码模型竞争力相当，暗示改进源代码特定的预训练有丰富的机会。

    Dec, 2023

  • 遗忘探针：用遗忘反事实解释行为

    本研究提出了 Amnesic Probing 方法，用以替代传统的伪推式分析方法，并通过对 BERT 进行一系列分析，发现伪推性能并不与任务重要性相关，并呼吁加强对从伪推结果中得出行为或因果结论的主张的审查。

    Jun, 2020