ICMLMay, 2023

进化优化中的彩票神经网络：针对稀疏反向传播训练的可行性研究

PDF
TL;DR本文研究彩票票据现象是否是基于梯度训练的特异性，或者是否也适用于进化优化，我们确立了高度稀疏训练初始化的存在，并且在黑盒进化中使用时，我们发现这些初始化编码了归纳偏差，可以跨越不同的 ES、相关任务和 GD-based training。最后，我们比较了不同优化范式和稀疏级别导致的局部极值，结果突出了进化和基于梯度的学习动态之间的定性差异，这可以通过研究迭代修剪过程来揭示。
发现论文，激发创造
  • 稀疏神经网络中的梯度流与中奖彩票方法

    本文研究稀疏神经网络的训练，并分析了从随机初始化开始训练稀疏神经网络的不良表现以及 Lottery Tickets 和 Dynamic Sparse Training 的例外情况。作者发现稀疏神经网络在初始化时梯度流较差，使用稀疏感知的初始化对性能至关重要。DST 方法可以显著提高训练期间的梯度流，而 LTs 的成功则在于重新学习了它们基于修剪的解决方案 —— 但这是以学习新解决方案为代价的。

    Oct, 2020

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 连续稀疏化在中奖彩票中的应用

    该研究提出了一种基于连续稀疏化的新型算法，用于寻找高效的、稀疏的深度神经网络模型。实验结果表明，在修剪和寻找稀疏子网络方面，我们均超过了现有方法的最新技术水平，包括 VGG 在 CIFAR-10 上训练和 ResNet-50 在 ImageNet 上训练等。

    Dec, 2019

  • 初始化时寻找彩票号码

    该论文提出了一种名为 “Gem-Miner” 的方法，它可以在初始化时找到可训练的彩票网络，进而在精度方面击败当前的基线，而且速度比迭代性大小修剪（IMP）快多达 19 倍。

    Feb, 2022

  • 植物寻觅：你能找到获胜的门票吗？

    通过开发一种在神经网络随机初始化时具有理想特性的彩票中隐藏并发掘出触及四项挑战性任务的采用最先进剪枝方法的框架，我们发现算法的限制基本上是算法性质的。

    Nov, 2021

  • 关于深度强化学习中的彩票券及最小任务表示

    本文研究了在强化学习任务中 Lottery Ticket 假设的性能表现，通过比较基于行为克隆的前馈网络和强化学习代理的任务完成效果，我们发现可以在不会影响性能的前提下对前者的稀疏度进行更高程度的剪枝。同时，我们发现 Lottery Ticket 现象中部分效果是由于神经网络减枝所产生的 mask，而不是参数的初始化方式。我们最后提出了一种初始化方法，来更好的支持低维控制任务的初始学习。

    May, 2021

  • 彩票票假设与迭代剪枝的深入洞察

    深度神经网络的票证彩票假设强调了重新训练使用迭代幅度修剪过程获得的更稀疏网络所使用的初始化的重要性。这项研究试图通过对幅度修剪过程的各个阶段获得的解决方案的体积 / 几何和损失景观特征进行经验性研究，以揭示票证彩票假设的特定初始化为何在泛化（和训练）性能方面表现更好，并着重研究了幅度修剪和迭代过程的底层原理，如较小幅度权重的修剪和迭代过程的作用。

    Mar, 2024

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 评估抽奖彩票在分布转移下的表现

    本文研究了 Lottery Ticket Hypothesis 在分布转移下的稀疏子网络初始化及转移时的效果，并验证了这种初始化策略的归纳偏差可被应用于多个领域。

    Oct, 2019