DeepLIFT（重要特征学习）是一种有效的神经网络重要性分数计算方法，可用于训练自然图像和基因组数据模型，并在梯度法方法上具有显着优势。
May, 2016
本研究探讨如何更好地捕捉深度网络中的特征重要性，通过计算构造出来的输入样本的内部梯度，该方法可以适用于各种复杂的神经网络模型，并可以与原有的梯度计算方法相比，更加方便易用。
Nov, 2016
DeepLIFT是一种通过反向传播将神经网络对特定输入的输出预测分解为网络中所有神经元对每个输入特征的贡献的方法，可用于提高网络解释性并有助于揭示其他方法中可能被忽略的依赖关系。
Apr, 2017
本文介绍了使用“conductance”来理解深度网络中隐藏层每个神经单元的重要性，通过多种方式从理论和实证的角度验证其有效性
May, 2018
使用启发式方法来估计神经元的全局重要性，通过传播随机梯度并对梯度幅度进行归一化，改进了现有方法的性能，适用于ResNet和VGG架构以及CIFAR-100和STL-10数据集。
Oct, 2023
提出了一种基于“软”置换的度量方式，用于衡量具有不同大小的神经网络之间的距离，并避免了其他方式所遭受的违反直觉的结果，从而提供了对神经表示的补充几何洞见。
Nov, 2023
该论文介绍了一种名为Intra-Fusion的新方法，通过使用模型融合和最优传输的概念，重新定义了神经网络修剪的程序，实现了更有效的稀疏模型表示，并在不需要资源密集型微调的情况下显著提高了准确性恢复，从而成为神经网络压缩的一种高效且有前景的工具。
Feb, 2024
过参数化模型，如深度神经网络，具有通过较少的采样数据点恢复目标函数的有趣能力。本研究集中研究了单神经元目标恢复场景，并系统地考察了初始化和样本大小对双层神经网络性能的影响。我们的实验证明，更小的初始化尺度与改善泛化有关，并确定了一个关键数量，称为“初始不平衡比”，它管理着小初始化下的训练动力和泛化能力，该结果得到理论证明的支持。此外，我们经验性地划分了两个关键的样本大小阈值，称为“乐观样本大小”和“分离样本大小”，与已有理论框架相契合。我们的结果表明了模型恢复目标函数能力的一个转变：在乐观样本大小之下，恢复是不可行的；在乐观样本大小时，通过零测度初始化集合，恢复变得可行。当达到分离样本大小时，可以成功恢复目标函数的初始化集合从零测度转变为正测度。这些从简化的背景中得出的见解，为理解过参数化神经网络中完美泛化的复杂性提供了观点。
May, 2024
本研究提出了一种新颖的正则化方法Y-Drop，旨在通过提高重要神经元的丢弃概率来克服传统dropout方法的不足。通过引入神经元导电性作为衡量重要性的可解释指标，我们展示了这种方法在多种架构和数据集上的优越性能，显著提升了网络的鲁棒性。
Sep, 2024
本研究解决了仅通过查询访问推断神经网络精确参数的NP-Hard问题，填补了现有算法的空白。通过识别随机初始化和一阶优化的诱导偏差及提出新颖的查询生成算法，成功重构了含150万参数的隐藏网络，实现最大参数差异小于0.0001，展现了在多种架构和数据集中的鲁棒性和可扩展性。