Sep, 2023

在脉冲神经网络中通过探索二进制彩票票券获取稀疏奖励

PDF
TL;DR通过使用稀疏训练方法，本文研究了在不同网络结构下找到二进制权重尖峰票（BinW-SLT）是否存在于二进制 SNN 中，以及与简单模型二值化相比，尖峰机制是否在处理二进制信息方面是一种更有效的策略。通过全面评估，我们发现 BinW-SLT 在 CIFAR-10 和 CIFAR-100 上相比于二进制 LTs 提升了 + 5.86% 和 + 3.17%，并且与全精度的 SNN 和 ANN 相比，实现了 1.86 倍和 8.92 倍的能源节省。
spiking neural networklottery tickets hypothesisbinarizationsparse training methodenergy saving
发现论文，激发创造
  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 概率建模：在脉冲神经网络中证明彩票票证假设

    本文提出了一种新的概率建模方法来适应间歇性发放信号神经元的复杂时间空间动力学，通过定理及实验证明了 LTH 在间歇性发放信号神经网络上成立，并进一步设计了一种基于我们理论的新的剪枝准则，取得了比基线更好的剪枝效果。

    May, 2023

  • MT-SNN：多阈值增强脉冲神经网络

    本文提出了一种多阈值（MT）方法，以缓解由二值激活带来的精度损失，从而使 SNNs 可以在更少的步骤达到更高的准确性，通过在 CIFAR10，CIFAR100 和 DVS-CIFAR10 上的评估，证明了 MT 可以广泛促进 SNNs，特别是在早期步骤中，例如，使用 MT，基于 Parametric-Leaky-Integrate-Fire（PLIF）的 VGG 网络甚至可以在 1 个步骤中胜过 ANN 对应物。

    Mar, 2023

  • 多奖金彩票假设：通过对随机权重网络修剪来发现准确的二元神经网络

    本研究提出了 Multi-Prize Lottery Ticket 假设，表明含有随机权重的过度参数化神经网络包含多个可训练子网络，可以通过剪枝和精度量化来获得高精度的二进制神经网络。实验表明通过该方法得到的神经网络可以在 CIFAR-10　和　ImageNet 数据集上达到更高的精度，而且效果比原始的全精度基线模型更好。

    Mar, 2021

  • 稀疏神经网络中的梯度流与中奖彩票方法

    本文研究稀疏神经网络的训练，并分析了从随机初始化开始训练稀疏神经网络的不良表现以及 Lottery Tickets 和 Dynamic Sparse Training 的例外情况。作者发现稀疏神经网络在初始化时梯度流较差，使用稀疏感知的初始化对性能至关重要。DST 方法可以显著提高训练期间的梯度流，而 LTs 的成功则在于重新学习了它们基于修剪的解决方案 —— 但这是以学习新解决方案为代价的。

    Oct, 2020

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • 稀疏 Spikformer：脉冲变换器的令牌和权重剪枝的协同设计框架

    SparseSpikformer 是一种通过令牌和权重修剪技术实现稀疏性的共设计框架，可以显著减少模型参数 90％并减少 20％的 GFLOPs，同时保持原始模型的准确性。

    Nov, 2023

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019