Mar, 2021

多奖金彩票假设：通过对随机权重网络修剪来发现准确的二元神经网络

PDF
TL;DR本研究提出了 Multi-Prize Lottery Ticket 假设，表明含有随机权重的过度参数化神经网络包含多个可训练子网络，可以通过剪枝和精度量化来获得高精度的二进制神经网络。实验表明通过该方法得到的神经网络可以在 CIFAR-10　和　ImageNet 数据集上达到更高的精度，而且效果比原始的全精度基线模型更好。
neural networksubnetworkspruningquantizationaccuracy
发现论文，激发创造
  • 高效的多重奖励彩票：增强的准确性、训练和推理速度

    本文提出了一种新的方法来学习紧凑而高精度的二进制神经网络，简单地通过修剪和量化基于随机权重的全精度神经网络。通过对 CIFAR-10 进行实验，验证了该方法的有效性，同时还解决了优化修剪比例的问题，并取得了训练速度的提升。

    Sep, 2022

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 随机初始化子网络与迭代权重回收

    该研究介绍了一种名为 Iterative Weight Recycling 的算法，该算法可在初始化的神经网络中识别重要权重的子集以供重复使用，可以提高模型稀疏度，此外还支持了多奖励彩票票据假设的互补结果，即高精度，随机初始化的子网络产生多样的掩码，展现了高度的变异性。

    Mar, 2023

  • 证明《中奖彩票假说》: 剪枝就是你所需的一切

    该研究提出彩票票据假设，证明对于每个有界分布以及带有有界权重的目标网络，一个具有随机权重的足够超参数的神经网络包含一个子网络，与目标网络具有大致相同的准确性，而不需要进一步的训练。

    Feb, 2020

  • 在随机二元网络中找到一切

    本文证明，过度参数化的、随机初始化的神经网络可以裁剪成仅由二进制 ±1 权重构成的多项式深度与宽度的网络，以任意精度逼近目标网络。

    Oct, 2021

  • 彩票票保留权重相关性：是可取还是不可取？

    通过研究神经网络模型剪枝，提出了 “Lottery Ticket Hypothesis”，发现神经网络的初始化和学习率等条件会影响最优子网络的提取，同时提出 “Pruning & Fine-tuning” 方法来优化剪枝和训练，实验证明该方法在多种深度神经网络结构上表现出色。

    Feb, 2021

  • 对数剪枝是你所需的全部

    本文描述了网络里的子网络与大型网络在离线训练时实现可比较的性能，以及删除该前文的最限制性假设并提供更紧的界限来解决网络不需要除目标子网络以外的更多神经元。

    Jun, 2020

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 预训练模型中存在的彩票大奖

    本文提出了一种搜索被称为 "lottery jackpots" 的高性能、稀疏的子网络的方法，通过使用基于幅值的裁剪技术初始化稀疏掩码并使用短限制方法减少训练损失，从而提高搜索效率和准确性。

    Apr, 2021