AAAIOct, 2020

稀疏神经网络中的梯度流与中奖彩票方法

PDF
TL;DR本文研究稀疏神经网络的训练，并分析了从随机初始化开始训练稀疏神经网络的不良表现以及 Lottery Tickets 和 Dynamic Sparse Training 的例外情况。作者发现稀疏神经网络在初始化时梯度流较差，使用稀疏感知的初始化对性能至关重要。DST 方法可以显著提高训练期间的梯度流，而 LTs 的成功则在于重新学习了它们基于修剪的解决方案 —— 但这是以学习新解决方案为代价的。
sparse neural networksgeneralizationlottery ticketsdynamic sparse traininggradient flow
发现论文，激发创造
  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 评估抽奖彩票在分布转移下的表现

    本文研究了 Lottery Ticket Hypothesis 在分布转移下的稀疏子网络初始化及转移时的效果，并验证了这种初始化策略的归纳偏差可被应用于多个领域。

    Oct, 2019

  • 进化优化中的彩票神经网络：针对稀疏反向传播训练的可行性研究

    本文研究彩票票据现象是否是基于梯度训练的特异性，或者是否也适用于进化优化，我们确立了高度稀疏训练初始化的存在，并且在黑盒进化中使用时，我们发现这些初始化编码了归纳偏差，可以跨越不同的 ES、相关任务和 GD-based training。最后，我们比较了不同优化范式和稀疏级别导致的局部极值，结果突出了进化和基于梯度的学习动态之间的定性差异，这可以通过研究迭代修剪过程来揭示。

    May, 2023

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • 重新思考 Graph Lottery Tickets：图稀疏度很重要

    本研究提出了两种方法来提高图神经网络 (GNN) 在图稀疏度高的情况下的性能：(1) 使用辅助 loss 以涵盖整个邻接矩阵的所有元素来指导边缘裁剪，(2) 将裁剪过程形式化为最小化 - 最大化优化问题来提高稳健性。此外，本研究还得出了可传递的图彩票假设，并证明了提出的算法优于现有方法，实验证明了传递的图彩票假设。

    May, 2023

  • 在脉冲神经网络中通过探索二进制彩票票券获取稀疏奖励

    通过使用稀疏训练方法，本文研究了在不同网络结构下找到二进制权重尖峰票（BinW-SLT）是否存在于二进制 SNN 中，以及与简单模型二值化相比，尖峰机制是否在处理二进制信息方面是一种更有效的策略。通过全面评估，我们发现 BinW-SLT 在 CIFAR-10 和 CIFAR-100 上相比于二进制 LTs 提升了 + 5.86% 和 + 3.17%，并且与全精度的 SNN 和 ANN 相比，实现了 1.86 倍和 8.92 倍的能源节省。

    Sep, 2023

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 成功将抽奖票假设应用于扩散模型

    通过将 Lottery Ticket Hypothesis 应用于扩散模型，本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型，并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。

    Oct, 2023