May, 2024

本地交互基础：在神经网络中识别计算相关和稀疏交互特征

PDF
TL;DR通过将神经网络的激活转换为新的基础 - 局部互动基础（LIB），我们提出了一种新颖的可解释性方法，旨在识别计算特征，通过消除无关的激活和相互作用，以及基于它们对下游计算的重要性对特征进行缩放，生成显示模型中所有计算相关特征和相互作用的交互图。
mechanistic interpretabilityneural networksactivationslocal interaction basis (lib)computational features
发现论文，激发创造
  • 在人工和生物神经系统中识别可解释的视觉特征

    在神经网络中，单个神经元往往是 “可解释的”，因为它们代表了个别直观有意义的特征。然而，许多神经元表现出混合选择性，即它们代表多个不相关的特征。最近的假设提出深度网络中的特征可能通过多个神经元以非正交的方式进行 “叠加”，因为自然数据中可解释的特征数量通常大于给定网络中的神经元数量。因此，我们应该能够在激活空间中找到与个别神经元不一致的有意义方向。在这里，我们提出了（1）一种自动化方法，用于量化视觉可解释性，并与人类心理物理学对神经元可解释性的大型数据库验证，以及（2）一种在网络激活空间中找到有意义方向的方法。我们利用这些方法在卷积神经网络中发现了比个别神经元更具直观意义的方向，通过一系列分析进行了确认和调查。此外，我们将相同的方法应用于大脑中两个最近的视觉神经响应数据集，并发现我们的结论在大部分转移到真实神经数据上，这表明大脑可能使用了叠加。这也与去纠缠有关，并在人工和生物神经系统中提出了关于稳健、高效和分解表示的基本问题。

    Oct, 2023

  • 利用损失景观中的蜕变性进行机械解释

    通过研究神经网络的权重和激活，以逆向工程神经网络算法为目标，机械可解释性旨在解析神经网络的算法。我们提出了 3 种网络参数退化的方法，并发展了一种指标来识别网络中的模块，以寻求一种对退化不敏感的表示方法，从而使得神经网络更易解释，而且更有可能具有较少的相互作用。我们介绍了一种称为交互基础的方法，它可以从激活或雅可比矩阵的线性相关性中获得一种对退化不敏感的表示。

    May, 2024

  • 通过多面体透镜解释神经网络

    本研究通过研究分段线性激活函数将激活空间分为许多离散的多面体的方式，提出了新的解释神经网络的方法，并在卷积图像分类器和语言模型上进行了实验，揭示了有关神经网络行为的具体预测

    Nov, 2022

  • 功能交互揭示语言模型中的语言结构

    本文探讨了关于特征归因方法中的特征交互的问题，并提出了一种灰盒子方法，该方法能够更准确地反映目标模型的内部工作方式。通过在形式语言分类任务上训练模型，并针对性地选择特定的配置，本文展示了一些方法能够揭示模型所学的语法规则，并在对语言模型进行案例研究的基础上，提供了新的关于语言结构的见解。

    Jun, 2023

  • PURE: 通过识别相关电路将多义性神经元转化为纯特征

    我们提出了一种方法，通过将多义性神经元分解为多个单义性的 “虚拟” 神经元，从而解开深度神经网络中的多义性，实现了深度神经网络的解释性。

    Apr, 2024

  • InterActive：跨层次活跃性传播

    本文提出一种名为 InterActive 的算法，通过计算神经元和网络连接的活跃度，在神经网络中向下传播高级上下文，提高低级和中级神经元的描述性能，从而实现了广泛的图像分类。

    Apr, 2016

  • 学习到的特征表示受到复杂性、学习顺序、位置等的偏差影响

    在这项工作中，我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域，并发现了表示与计算之间一些令人惊讶的脱节现象，这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色，并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征，并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚，这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差，同时突出了理解性或对比模型和大脑之间表示的关键挑战，即区分系统内部表示的外部偏差和计算上重要的方面。

    May, 2024

  • 基于神经元交互的表示合成的神经机器翻译

    通过模拟单个神经元之间的强交互作用，提出了一种新的方法来组成神经机器翻译中不同组件所学习的表示，该方法利用了双线性汇聚来建模单个神经元之间的成对乘法交互作用，并使用低秩近似使模型具有可计算性，并且在 WMT14 英德和英法翻译任务上得到了更好的实验结果。

    Nov, 2019

  • 理解局部竞争网络

    本研究旨在探讨神经网络激活函数中的本地竞争机制，并发现这种自我模块化特性的有益性，证明这种特性能有效提高网络性能，此外还表明该方法在利用神经网络有效地检索大型数据集方面具有广泛应用前景。

    Oct, 2014

  • 通过传播激活差异学习重要特征

    DeepLIFT 是一种通过反向传播将神经网络对特定输入的输出预测分解为网络中所有神经元对每个输入特征的贡献的方法，可用于提高网络解释性并有助于揭示其他方法中可能被忽略的依赖关系。

    Apr, 2017