May, 2016

不只是一个黑盒子：通过传播激活差异学习重要特征

PDF
TL;DRDeepLIFT（重要特征学习）是一种有效的神经网络重要性分数计算方法，可用于训练自然图像和基因组数据模型，并在梯度法方法上具有显着优势。
deepliftneural networksinterpretabilityimportance scoresgradient-based methods
发现论文，激发创造
  • 通过传播激活差异学习重要特征

    DeepLIFT 是一种通过反向传播将神经网络对特定输入的输出预测分解为网络中所有神经元对每个输入特征的贡献的方法，可用于提高网络解释性并有助于揭示其他方法中可能被忽略的依赖关系。

    Apr, 2017

  • 抬升神经网络

    本文提出一种新型的神经网络构架，利用基于惩罚项的训练问题来编码激活函数，这种框架可以被应用于 block-coordinate descent 算法中，该算法可以在每次迭代中通过并行化数据点和 / 或层数来解决简单（没有隐藏层）的监督学习问题，实验结果表明该方法为标准神经网络提供了极佳的初始权重估计，并且对于使用参数优化激活函数、对抗噪声数据的拓展也提供了思路。

    May, 2018

  • LIFT：学习不变特征变换

    介绍一种新颖的深度网络架构，实现了完整的特征点处理流程，包括检测、方向估计和特征描述，并展示了其在多个基准数据集上超过现有方法的性能表现，同时不需要重新训练。

    Mar, 2016

  • 通过特征重要性检索具有提升不变性的符号观测量

    利用 Boost 不变多项式进行高能物理中喷注标记的低维分类及物理相关观测量的分析。

    Jun, 2023

  • 神经网络解释易受伤

    本文探究了解释深度学习预测的方法对于随机扰动的敏感性，发现即使对于具有同一预测标签的两个感官不可分的输入，这些方法也会得出非常不同的解释结果，并分析了导致这种脆弱性的几何原因。

    Oct, 2017

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • InterActive：跨层次活跃性传播

    本文提出一种名为 InterActive 的算法，通过计算神经元和网络连接的活跃度，在神经网络中向下传播高级上下文，提高低级和中级神经元的描述性能，从而实现了广泛的图像分类。

    Apr, 2016

  • Fenchel 提升网络：神经网络训练的 Lagrange 松弛

    本文介绍了一种新的 Fenchel lifted networks 的模型，通过等价的双凸约束表示激活函数，并使用拉格朗日乘数对传统神经网络训练问题得出严格下界，使用块坐标下降进行高效训练，并与标准全连接和卷积网络进行比较，证明我们能够匹配或超越其性能.

    Nov, 2018

  • 寻找黄金激活函数

    本文介绍了深度神经网络在不同领域的应用，探讨了激活函数选择的重要性及其优化方法，提出了两个新的激活函数 ELiSH 和 HardELiSH，并使用基于遗传算法的方法在三个图像分类基准测试中得到了比传统基线更好的效果。

    Aug, 2018

  • DeCAF：用于通用视觉识别的深度卷积激活特征

    本文介绍了一种基于深度卷积网络提取特征的方法，该方法可以将原来应用于特定任务的深度卷积网络迁移到其他任务中，实现了在多个重要视觉挑战中超越现有技术的效果，并发布了开源工具 DeCAF 和所有相关网络参数。

    Oct, 2013