AAAIDec, 2018

NeuroX: 用于分析神经网络中个体神经元的工具包

PDF
TL;DR提供一款工具箱以便于神经网络模型的解释和理解，为用户提供了几种方法来识别与模型本身或外部任务相关的显著神经元，用户可以可视化选择的神经元，删除它们来测量它们对模型准确性的影响，并操纵它们来控制模型在测试时的行为。
neural networkinterpretationsalient neuronsmodel accuracydata biases
发现论文，激发创造
  • 深度自然语言处理模型的神经元分析 NeuroX 库

    NeuroX 是一个开源的工具包，提供统一的 API 接口和数据处理评估框架，方便研究人员和实践者进行神经元分析，从而深入了解知识表示和神经元在网络中的作用，并实现 AI 的可解释性。

    May, 2023

  • 神经外科医生：一个子网络分析工具包

    尽管关于神经网络学习所表示的算法的可解释性领域取得了近期的进展，但仍有许多未知。最近的研究尝试通过将其分解为功能电路来理解经过训练的模型。为了推进这项研究，我们开发了 NeuroSurgeon，这是一个可以用于发现和操纵 Huggingface Transformers 库中模型的子网络的 Python 库。NeuroSurgeon 在此 https URL 上免费提供。

    Sep, 2023

  • 人工神经网络探究：来自神经科学的启示

    这篇文章探讨从神经科学角度出发，在进行机器学习的探索性研究时，通过指定研究目标且明确探针设计的方向和表现性来实现对于感兴趣特征激活模式的监督模型

    Apr, 2021

  • 神经网络的内部结构：基于功能神经元群和网络消融的学习表示特征表征

    本文研究神经网络的透明度缺乏问题，通过对激活模式和网络消融的表征，揭示了在完成学习任务时单个神经元和神经元群体的作用，强调了为未来的转移学习和现代神经科学发展提供必需指标的重要性。

    Apr, 2020

  • 评估自然语言处理模型的神经元解释方法

    该研究提出了一种评估框架，用于比较不同神经元解释方法，通过该框架，可以评估任何新的神经元解释方法，通过与其他大多数方法的兼容性来评估其性能。

    Jan, 2023

  • 自然语言处理中神经网络的分析和解释：第一次 BlackboxNLP 研讨会报告

    EMNLP 2018 BlackboxNLP Workshop reviewed techniques to analyze and understand neural models of language, including manipulating inputs, decoding intermediate representations, modifying network architectures, and examining performance on simplified or formal languages.

    Apr, 2019

  • NeuroInspect: 基于神经元的调试框架通过条件可视化

    通过引入神经元为基础的调试框架 NeuroInspect，该研究提供了深度学习模型的人类可解释的调试方法，其中包括对错误的因果解释、特征可视化和假相关性缓解，从而实现了对 DL 模型错误的调试和改进。

    Oct, 2023

  • 从神经元到图形：大规模解释语言模型神经元

    该论文介绍了一种自动化的方法来解释大型语言模型中的神经元行为，并将其转化为可解释的图形表示，从而提高大型语言模型的可解释性和安全性。

    May, 2023

  • 对预训练语言模型中个体神经元的分析

    本研究探讨了使用深度 NLP 模型学习的表示来捕捉语言知识。在核心语言学任务上进行了神经元级别的分析，研究了预训练的语言模型中的神经元是否捕捉了语言信息，哪些部分学习了某些语言现象，信息分散或集中在哪里，以及不同架构在学习这些属性方面的差异。本研究发现预测语言任务的神经元是小的子集，与较低级任务（如形态学）相比，预测句法这样的更高级任务的神经元更加分散。同时，本研究还揭示了有趣的跨架构比较，比如我们发现在预测性质方面，XLNet 中的神经元更加局部化和不连通，而 BERT 等则更加分布式和耦合。

    Oct, 2020

  • 分析深度自然语言处理模型中的单个神经元，犹如沙漠中的一粒沙

    研究者提出用于解释神经网络在自然语言处理任务中的单个特定维度及其与模型性能的相关性分析的方法，并公开了工具箱。

    Dec, 2018