May, 2021

利用稀疏线性层进行可调试的深度神经网络

PDF
TL;DR本研究通过在深度特征表示上拟合稀疏线性模型，证明可以得到更易于人类解释的神经网络，并通过数值和人类实验量化地展示了这一点。我们进一步说明这些稀疏解释如何帮助在视觉和语言任务中识别虚假相关性、解释误分类并诊断模型偏见。我们的工具包的代码可以在此 https URL 找到。
deep feature representationssparse linear modelsneural networksmodel interpretationdiagnosing model biases
发现论文，激发创造
  • 使用稀疏连接证明神经网络训练方法

    我们提供了一种针对稀疏连接的前馈神经网络进行训练的保证方法，在学习线性网络的先前技术的基础上，我们展示了它们也可以有效地用于学习非线性网络，并在涉及输入标签和得分函数的时候操作矩阵，证明它们在温和条件下可以产生深层网络第一层的权重矩阵，实践中，我们的方法的输出可以用作梯度下降的有效初始值。

    Dec, 2014

  • 稀疏探测中的神经元查找案例研究

    本文讨论了如何理解大型语言模型内部神经元激活的高级人类可解释特征表示，并通过 $k$-sparse 线性分类器在内部神经元激活上进行分类训练以预测输入特征的存在性，研究表示的稀疏性随模型规模的变化，发现超定叠加、高级语境特定性和多种类型的规模动态等特性。

    May, 2023

  • 稀疏线性概念发现模型

    通过对比性语言图像模型和单一稀疏线性层，我们提出了一个简单而直观的可解释框架，通过基于贝叶斯推理的数据驱动伯努利分布来实现框架中的稀疏性，相比相关方法，在准确性和每个样本概念稀疏性方面均表现出色，为新概念的个体研究提供便利。

    Aug, 2023

  • SPADE：深度神经网络的稀疏指导调试

    提出了一种名为 SPADE 的新的方法，通过给定训练好的模型和目标样本，利用样本特定的修剪来提高深度学习模型的可解释性，并且发现样本特定的修剪可以解开多面性神经元，从而在解释性上得到持续的提升。

    Oct, 2023

  • 利用稀疏表示来对抗对抗攻击

    本篇论文研究了针对深度神经网络的对抗攻击问题，表明对于稀疏输入数据表示，我们可以利用线性分类器的稀疏编码来有效减缓攻击，并将其扩展到深度神经网络中，发现使用局部线性模型可以有效降低 MNIST 数据集上的攻击成功率。

    Mar, 2018

  • BASE Layers：简化大规模稀疏模型的训练

    通过引入均衡分配的 EXPERT 层，使得大规模语言模型中的稀疏层更加简单。通过将词汇分配到专门的 EXPERT 模块中，可以将训练和推理的效率显著提高，同时避免了使用新的超参数或辅助损失的必要。

    Mar, 2021

  • 稀疏特征电路：在语言模型中发现和编辑可解释性因果图

    我们引入了一种发现和应用稀疏特征电路的方法，这些电路是人可解释特征的因果相关子网络，用于解释语言模型的行为。与以前的工作中的电路相反，稀疏特征电路基于细粒度单元，可以提供对预期之外的机制的详细理解，并且在下游任务中非常有用。我们介绍了 SHIFT，通过消除人类判断为任务无关的特征，改善了分类器的泛化能力。最后，我们展示了一个完全无监督和可扩展的可解释性流程，用于自动发现模型行为中的成千上万的稀疏特征电路。

    Mar, 2024

  • 稀疏神经网络训练

    本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

    Nov, 2016

  • 可分离层使结构化有效线性替换成为可能

    本文表明，使用结构化线性分解替换点积卷积中的线性元素不仅更高效，而且还提供了在效率 / 准确性方面的达成帕累托最优的成果。

    Jun, 2019

  • 透过反比尺度空间探索深度网络的结构稀疏性

    本文提出了一种基于反射尺度微分包含的新方法，该方法通过耦合一对参数在动力学过程中生成从简单到复杂的模型系列，同时探索过度参数化的深度模型和其结构稀疏性。实验证据表明，我们的方法在探索几个广泛使用的支撑点上的稀疏结构方面表现出与竞争优化器可比甚至更好的性能。值得注意的是，我们的方法能够在早期阶段揭示 “获胜的票据”，即具有与完全训练的超参数化模型相当的测试精度的有效稀疏网络结构，这些模型可以进一步迁移到类似的替代任务中。此外，我们的方法能够高效地使用自适应过滤器配置来有效地增加网络，展示出更少的计算成本。

    May, 2019