Dec, 2023

脉冲神经网络中神经元的快速无梯度激活最大化

PDF
TL;DR通过构建一个反馈循环并利用低秩张量分解技术，我们成功设计了一个快速高效的优化方法，用于激活最大化的神经网络，并在人工脉冲神经网络上成功测试。
neural networksspecializationsfeedback loopspiking neural networkactivation maximization
发现论文，激发创造
  • 通过渐变弹弓操控特征可视化

    本文研究了 Deep Neural Networks (DNNs) 通过 Activation Maximization (AM) 方法学习的概念的语义特性，并介绍了一种在不改变模型架构或显著影响模型决策过程的情况下操纵特征可视化的新方法。我们评估了该方法在多个神经网络模型上的有效性，并展示了在模型审核过程中通过掩盖原始解释而隐藏特定神经元功能的能力。为了解决这个问题，我们提出了对抗此类操纵的一种保护措施，并提供了定量证据来支持我们的发现。

    Jan, 2024

  • 利用深度生成网络合成神经网络内部神经元的首选输入

    通过激活最大化算法，使用深度生成网络为神经网络内部的感知器学习特征提供先验知识，可以生成高质量的合成图像和可解释的特征，同时作为一种高质量的生成方法。

    May, 2016

  • 透過特徵視覺化理解神經網絡：一項調查

    本章介绍了一种神经科学方法 ——Activation Maximization（AM），利用机器学习技术综合推理神经元的首选刺激，以大力激发人造或生物大脑中的单个细胞或细胞组，并讨论了现有 AM 技术的概率解释和其在网络调试和解释方面的应用。

    Apr, 2019

  • 脉冲神经网络的直接训练：更快，更大，更好

    通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

    Sep, 2018

  • 具备反向残差连接、随机 Softmax 和混合化的可扩展、高效和准确的深度脉冲神经网络

    本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术，以提高学习能力，并取得与传统深度学习 / 人工神经网络相媲美的准确性，同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。

    Oct, 2019

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • 可训练激活函数的稀疏神经网络贝叶斯优化

    本文提出了一种可训练的激活函数，使用贝叶斯建模自动估计学习数据中的模型权重和激活函数参数，并使用基于 MCMC 的优化方案进行推断，通过使用有效的采样方案来提高收敛速度并减少过度拟合问题，取得了良好的检验结果，并通过激活函数提高了模型的准确性。

    Apr, 2023

  • 低延迟脉冲神经网络的优化电位初始化

    通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

    Feb, 2022

  • 深度 SNN 中最大池化操作的脉冲逼近

    本文介绍了两种硬件友好的方法来在深度脉冲神经网络中实现 Max-Pooling，并在 Intel 的 Loihi 神经形态硬件上执行 SNNs，证明了我们的方法的可行性。

    May, 2022

  • 神经元激活最大化的解释遭受对抗性攻击

    本文提出并演示了一种优化框架，用于操纵模型以达到欺骗解释的目的，并展示了一些流行的激活最大化解释技术的若干种可以被操纵以改变解释的方式，揭示了这些方法的可靠性。

    Jun, 2023