神经元的组合解释

Jun, 2020

Compositional Explanations of Neurons

Jesse Mu, Jacob Andreas

TL;DR我们使用一种解释深度学习表征中神经元的程序，通过识别与神经元行为密切相关的组合逻辑概念来实现，以比先前使用原子标签的解释方法更精确地描述他们的行为，并回答了一些有关视觉和自然语言处理模型可解释性的问题。

Abstract

We describe a procedure for explaining neurons in deep representations by identifying compositional logical concepts that closely approximate neuron behavior. Compared to prior work that uses atomic labels as explanations, analyzing neurons compositionally allows us to more precisely a

neuron behavior compositional logical concepts abstractions vision natural language processing

发现论文，激发创造

以聚类组成性解释增进对神经元的全面理解

本文提出了一种称为集群组合解释的概括方法，它结合了组合解释、聚类和新颖的搜索启发式，以近似更广范围的神经元行为。我们定义并解决了应用这些方法到多个激活范围的问题，并分析了通过使用我们的算法可获取的洞见，并提出了可以用来研究不同算法返回的解释的期望品质。

Oct, 2023

神经网络求解数学问题中出现了组合处理

本文探讨了人类学习机制中的组合性问题，并扩展了先前针对自然语言的神经网络研究到数学推理领域。研究发现，神经网络不仅能够学习到训练数据中的结构关系，而且能够将这些知识用于指导复合意义的组合。

May, 2021

神经网络中结构组合性的证据

利用模型修剪技术，在视觉和语言领域的各种架构、任务和预训练方案中，研究神经网络是否通过模块化子网络实现子程序的解决方案，结果表明神经网络通常可以展示组合性，避免了专门的符号机制。

Jan, 2023

深度视觉特征的自然语言描述

该研究提出了一种名为 MILAN 的程序，通过相互信息引导的语言注释对神经元进行自动标记，并可以生成细粒度的描述，以促进对神经网络的理解、分析和控制，并提供了自然语言神经元描述的三个应用实例。

Jan, 2022

神经模型中组成通用能力的研究

该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。

Jun, 2020

基于 LLM 的概念发现：自动识别和解释神经元功能

利用多模态大型语言模型进行自动和无限的概念发现，既可以发现概念，又可以验证它们，为解释深度神经网络提供可信的自动化工具。

Jun, 2024

使用大型模型对深度视觉神经元进行自动化自然语言解释

通过研究神经元来解释深度神经网络并生成语义解释，以解决目前在此方面的限制、缺乏可伸缩性和适用性的问题。

Oct, 2023

从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

May, 2024

学习组合表示用于少样本识别

通过引入简单的正则化技术以及利用类别级别属性注释对神经网络进行特征空间分解，本工作试图弥合深度学习模型与人类学习之间的鸿沟，证明组合表示的价值并展示少量样本即可学习新类别的分类器。

Dec, 2018

层次化神经元概念解释器

本文提出一种名为 HIerarchical Neuron concepT explainer (HINT) 的新方法，该方法在低成本和可扩展的情况下建立神经元和分层概念之间的双向关联，旨在通过验证弱监督目标定位来验证相关性，并演示了其在发现显着区域和解释对抗性攻击等各种任务中的适用性。

Mar, 2022