ICLRMar, 2018

彩票假说：寻找稀疏的可训练神经网络

PDF
TL;DR该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。
neural network pruningparameter reductionlottery ticket hypothesissubnetworksinitializations
发现论文，激发创造
  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 实用的彩票票假设在对抗训练中的应用

    本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

    Mar, 2020

  • 证明《中奖彩票假说》: 剪枝就是你所需的一切

    该研究提出彩票票据假设，证明对于每个有界分布以及带有有界权重的目标网络，一个具有随机权重的足够超参数的神经网络包含一个子网络，与目标网络具有大致相同的准确性，而不需要进一步的训练。

    Feb, 2020

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 连续稀疏化在中奖彩票中的应用

    该研究提出了一种基于连续稀疏化的新型算法，用于寻找高效的、稀疏的深度神经网络模型。实验结果表明，在修剪和寻找稀疏子网络方面，我们均超过了现有方法的最新技术水平，包括 VGG 在 CIFAR-10 上训练和 ResNet-50 在 ImageNet 上训练等。

    Dec, 2019

  • 稳定彩票假设

    本文介绍了一种新的 IMP 修剪算法，用于提前训练深层网络而不是仅在初始化时进行修剪，从而找到可在更挑战的任务上与原始网络准确匹配的深层次子网络，并提出了结果。新的 IMP 算法可以更好地稳定修剪子网的训练参数，这为之后更早地修剪大规模网络提供了新的机遇。

    Mar, 2019

  • 用于目标识别的彩票票据假设

    文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis（LTH）方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果，结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。

    Dec, 2020

  • 少年期假设：从 “中奖券假设” 研究中可以学到什么？

    提出了一种结合神经网络结构搜索和剪枝算法的策略，以解决原始 “彩票票据假设” 的遗忘问题，使得能够在不影响性能的情况下持续训练和剪枝过程，获得更深层次、更好的泛化能力和更好的测试性能的新 “获奖票据子网络”，并进一步探讨了保持网络年轻化的因素可能影响神经网络的学习潜力或泛化性能的新假设。

    Sep, 2021

  • 植物寻觅：你能找到获胜的门票吗？

    通过开发一种在神经网络随机初始化时具有理想特性的彩票中隐藏并发掘出触及四项挑战性任务的采用最先进剪枝方法的框架，我们发现算法的限制基本上是算法性质的。

    Nov, 2021