May, 2022

大多数激活函数可在没有过度深度的情况下赢得彩票

PDF
TL;DR深度神经网络训练中的强引理假设提出了剪枝的潜力，在 ReLU 激活函数网络中，通过从随机初始化的神经网络的子网络近似目标网络，可以用宽度呈对数比例增加、深度双倍的神经网络表示目标函数，文中证明可以实现深度加 1 的神经网络，预期可以在常用深度找到彩票票，且只需要对数超参数化。
lottery ticket hypothesispruningneural networksrelu activation functionsoverparametrization
发现论文，激发创造
  • 通过 SubsetSum 实现最优彩票：对数超参数化足够

    本文证明了强 “lottery ticket hypothesis” 并非多项式过度参数化要求，反而是对数过度参数化的，通过概述了和证明了剪枝随机 ReLU 网络与随机 SubsetSum 问题的关系，并对实验数据进行了验证。

    Jun, 2020

  • 对数剪枝是你所需的全部

    本文描述了网络里的子网络与大型网络在离线训练时实现可比较的性能，以及删除该前文的最限制性假设并提供更紧的界限来解决网络不需要除目标子网络以外的更多神经元。

    Jun, 2020

  • 卷积和残差网络可证明包含中奖彩票

    该论文证明现代卷积和残差层构成的卷积神经网络同样可能存在具有高概率的‘彩票票证’，这与以往理论只关注具有 ReLU 激活函数的全连接前馈神经网络有所不同。

    May, 2022

  • 关于通用彩票券的存在

    本文证明了稀疏子网络（所谓 “奖券假设”）不仅存在于深度神经网络中，而且它所具有的普适性无需进行进一步训练，这一理念可通过本文提出的剪枝推导和显式稀疏结构的方式予以证明。

    Nov, 2021

  • 为什么彩票票获胜？剪枝神经网络中样本复杂度的理论视角

    本文通过分析目标函数的几何结构和样本复杂度，理论上证明了剪枝神经网络在加速随机梯度下降算法的特定情况下，训练过程中获得零泛化误差所需的样本数与隐藏层中未被剪枝的权重数成正比，从而提供了对中奖票证明的形式化证明。

    Oct, 2021

  • 前馈神经网络的深度优势

    研究发现，对于几乎所有已知的激活函数类型，存在简单的（大致上是径向的）函数在 $ eals^d$ 上，可由小型三层前馈神经网络表达，但无法用任何二层网络近似到特定常数精度以上，除非它的宽度在指数级别。此结果证明了深度比宽度对于标准前馈神经网络的提升，即使只增加了 1 层，其价值也可以是指数级别。此外，相比于布尔函数相关研究，该结果需要更少的假设，并且证明技巧和构造方法非常不同。

    Dec, 2015

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • 实用的彩票票假设在对抗训练中的应用

    本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

    Mar, 2020

  • 概率建模：在脉冲神经网络中证明彩票票证假设

    本文提出了一种新的概率建模方法来适应间歇性发放信号神经元的复杂时间空间动力学，通过定理及实验证明了 LTH 在间歇性发放信号神经网络上成立，并进一步设计了一种基于我们理论的新的剪枝准则，取得了比基线更好的剪枝效果。

    May, 2023