Feb, 2020

证明《中奖彩票假说》: 剪枝就是你所需的一切

PDF
TL;DR该研究提出彩票票据假设，证明对于每个有界分布以及带有有界权重的目标网络，一个具有随机权重的足够超参数的神经网络包含一个子网络，与目标网络具有大致相同的准确性，而不需要进一步的训练。
lottery ticket hypothesisneural networksover-parameterizationaccuracytraining
发现论文，激发创造
  • 对数剪枝是你所需的全部

    本文描述了网络里的子网络与大型网络在离线训练时实现可比较的性能，以及删除该前文的最限制性假设并提供更紧的界限来解决网络不需要除目标子网络以外的更多神经元。

    Jun, 2020

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 稳定彩票假设

    本文介绍了一种新的 IMP 修剪算法，用于提前训练深层网络而不是仅在初始化时进行修剪，从而找到可在更挑战的任务上与原始网络准确匹配的深层次子网络，并提出了结果。新的 IMP 算法可以更好地稳定修剪子网的训练参数，这为之后更早地修剪大规模网络提供了新的机遇。

    Mar, 2019

  • 实用的彩票票假设在对抗训练中的应用

    本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

    Mar, 2020

  • 少年期假设：从 “中奖券假设” 研究中可以学到什么？

    提出了一种结合神经网络结构搜索和剪枝算法的策略，以解决原始 “彩票票据假设” 的遗忘问题，使得能够在不影响性能的情况下持续训练和剪枝过程，获得更深层次、更好的泛化能力和更好的测试性能的新 “获奖票据子网络”，并进一步探讨了保持网络年轻化的因素可能影响神经网络的学习潜力或泛化性能的新假设。

    Sep, 2021

  • 关于通用彩票券的存在

    本文证明了稀疏子网络（所谓 “奖券假设”）不仅存在于深度神经网络中，而且它所具有的普适性无需进行进一步训练，这一理念可通过本文提出的剪枝推导和显式稀疏结构的方式予以证明。

    Nov, 2021

  • 为什么彩票票获胜？剪枝神经网络中样本复杂度的理论视角

    本文通过分析目标函数的几何结构和样本复杂度，理论上证明了剪枝神经网络在加速随机梯度下降算法的特定情况下，训练过程中获得零泛化误差所需的样本数与隐藏层中未被剪枝的权重数成正比，从而提供了对中奖票证明的形式化证明。

    Oct, 2021

  • 并非所有的抽奖都平等

    通过实验证明，在可接受的神经网络大小下，要发现优秀的稀疏子网络，比较小的神经网络更容易受益于 Lottery Ticket Hypothesis 并且得到更好的训练效果。

    Jun, 2022

  • 概率建模：在脉冲神经网络中证明彩票票证假设

    本文提出了一种新的概率建模方法来适应间歇性发放信号神经元的复杂时间空间动力学，通过定理及实验证明了 LTH 在间歇性发放信号神经网络上成立，并进一步设计了一种基于我们理论的新的剪枝准则，取得了比基线更好的剪枝效果。

    May, 2023