Sep, 2020

剪枝方法的合理性检查：随机选票或中大奖

PDF
TL;DR本文提出了一种利用随机比率和初始值提取的网络子结构的方法，称为随机票选，并通过实验发现它的性能与利用训练数据提取的子网络的性能相似或更优，并进一步介绍了一种使用随机票选和一个现有子结构提取方法的混合票选方法，被称为混合票选。
network pruningsubnetworkstraining dataperformancehybrid tickets
发现论文，激发创造
  • 证明《中奖彩票假说》: 剪枝就是你所需的一切

    该研究提出彩票票据假设，证明对于每个有界分布以及带有有界权重的目标网络，一个具有随机权重的足够超参数的神经网络包含一个子网络，与目标网络具有大致相同的准确性，而不需要进一步的训练。

    Feb, 2020

  • 稳定彩票假设

    本文介绍了一种新的 IMP 修剪算法，用于提前训练深层网络而不是仅在初始化时进行修剪，从而找到可在更挑战的任务上与原始网络准确匹配的深层次子网络，并提出了结果。新的 IMP 算法可以更好地稳定修剪子网的训练参数，这为之后更早地修剪大规模网络提供了新的机遇。

    Mar, 2019

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 植物寻觅：你能找到获胜的门票吗？

    通过开发一种在神经网络随机初始化时具有理想特性的彩票中隐藏并发掘出触及四项挑战性任务的采用最先进剪枝方法的框架，我们发现算法的限制基本上是算法性质的。

    Nov, 2021

  • 用迭代随机化方法剪枝随机初始化的神经网络

    通过随机化权重值的迭代对神经网络进行修剪可以提高参数效率且不影响优化性能。

    Jun, 2021

  • 预训练模型中存在的彩票大奖

    本文提出了一种搜索被称为 "lottery jackpots" 的高性能、稀疏的子网络的方法，通过使用基于幅值的裁剪技术初始化稀疏掩码并使用短限制方法减少训练损失，从而提高搜索效率和准确性。

    Apr, 2021

  • 高效彩票票据查找：少量数据更佳

    本文提出了一种新的方法，通过仅使用一种特殊的数据子集来发现 Lottery Ticket Hypothesis (LTH) 中的胜彩（稀疏而关键的子网络），该子集被称为 Pruning-Aware Critical set (PrAC set)，相较于使用全套训练集的方式，使用该子集可以更高效地发现这些胜彩，这篇文章还验证了这种做法在不同网络结构上的适用性。

    Jun, 2021

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 多奖金彩票假设：通过对随机权重网络修剪来发现准确的二元神经网络

    本研究提出了 Multi-Prize Lottery Ticket 假设，表明含有随机权重的过度参数化神经网络包含多个可训练子网络，可以通过剪枝和精度量化来获得高精度的二进制神经网络。实验表明通过该方法得到的神经网络可以在 CIFAR-10　和　ImageNet 数据集上达到更高的精度，而且效果比原始的全精度基线模型更好。

    Mar, 2021

  • 为什么彩票票获胜？剪枝神经网络中样本复杂度的理论视角

    本文通过分析目标函数的几何结构和样本复杂度，理论上证明了剪枝神经网络在加速随机梯度下降算法的特定情况下，训练过程中获得零泛化误差所需的样本数与隐藏层中未被剪枝的权重数成正比，从而提供了对中奖票证明的形式化证明。

    Oct, 2021