May, 2024

InversionView：从神经激活中提取信息的通用方法

PDF
TL;DR我们提出了 InversionView 方法，通过从经过激活条件的训练解码器模型中抽样，实际检查输入子集，以便于理解变压器模型实现的算法，并展示了该方法的特征、优势和引起验证的电路。
neural networksactivationsinversionviewtransformer modelsgpt-2
发现论文，激发创造
  • 变压器激活空间分析中的可解释性：重点调查

    该研究论文探讨自然语言处理领域的可解释性方法，重点关注 transformer 中前馈层激活空间（Activation Space），旨在加强该领域的研究。

    Jan, 2023

  • 一种对隐式神经表示激活的采样理论视角

    使用隐性神经表示 (INRs) 对信号进行紧凑、可微的编码已经越来越受青睐。本研究从采样理论的角度对常用的正弦位置编码、非传统激活函数等技术进行了全面分析，发现在信号编码中 sinc 激活函数从理论上来讲是最优的，同时我们还建立了动力系统和 INR 之间的联系，利用采样理论来连接两种范式。

    Feb, 2024

  • 神秘揭露者：针对深度神经网络的生成模型反演攻击

    本文介绍了一种新型攻击方法 —— 生成模型反演攻击，它可以显著地提高逆转深度神经网络的准确率，攻击者使用部分公共信息学习分布先验，引导逆转过程，并且通过实验证明了差分隐私在该攻击下的防御效果有限。

    Nov, 2019

  • 通过逆识别标记神经表示

    我们提出了一种逆向识别方法 (INVERT)，通过利用学习表示与人可理解的概念之间的区分能力，实现了将学习表示与其对应解释相连接的可扩展方法。此方法具有较低的计算复杂度并且不依赖于分割掩码的可用性，还提供了一个可解释的度量来评估表示与其相应解释之间的一致性并提供统计显著性的度量值，强调其实用性和可信度。我们展示了 INVERT 在各种场景中的适用性，包括识别受偶然相关性影响的表示以及对模型中决策层次结构的解释。

    Nov, 2023

  • 使用非负概念激活向量的卷积神经网络模型可逆基于概念的解释

    本文通过提出 invertible concept-based explanation 框架，并进行矩阵分解的性能评估，使用非负矩阵分解提供卓越表现的非负概念激活向量来提供预训练 CNN 模型的局部和全局概念级解释。

    Jun, 2020

  • 一种可逆的解缠结表示网络，用于解释潜在表示

    提出了可逆解释网络，可以透明地应用于现有的神经网络架构，将原始表示转换为等效但可解释的表示，并通过仅草绘两个图像和无监督策略定义语义概念，以解释图像生成网络的分类和生成。

    Apr, 2020

  • 理解概念激活向量：解释可解释性

    使用概念解释将深度学习模型的内部表示转化为人类熟悉的语言，最近的解释性方法提议采用基于概念的解释。本文研究了 Concept Activation Vectors (CAVs) 的三个性质，它们可能在不同层次之间存在不一致性，与不同概念纠缠在一起，并具有空间依赖性，这些性质为解释模型提供了挑战和机会。同时，我们还介绍了工具来检测这些性质的存在，并提供洞见以了解它们对解释的影响，并提出减小它们影响的建议。通过理解这些性质，我们可以利用它们的优势。例如，我们引入了具有空间依赖性的 CAVs 来测试模型在特定概念和类别上是否具有平移不变性。我们在 ImageNet 和一个新的合成数据集 Elements 上进行实验。Elements 旨在捕捉概念与类别之间已知的真实关系。我们发布此数据集以促进对解释性方法的进一步研究和评估。

    Apr, 2024

  • 神经激活模式（NAPs）：学习概念的视觉可解释性

    通过提取神经网络层中高维激活空间内相似的激活特点，我们找到了一些被对待相似的输入群体，这些输入群体代表神经激活模式 (NAPs)，并可用于可视化和解释学习层概念，从而实现了神经网络的分析方法的互补。

    Jun, 2022

  • 二值神经网络的网络反演

    该论文介绍了一种将训练好的二进制神经网络转化为捕捉网络结构的 CNF 公式的新方法，以实现推理和反演。

    Feb, 2024

  • 倾斜你的头：激活分类器的隐藏空间不变性

    通过反转变换树进行推理的逆变换搜索算法（ITS）能够使深度神经网络具备对空间变换输入的零样本伪不变性，并在所有零样本测试场景上优于基准模型。

    May, 2024