Oct, 2021

为什么彩票票获胜？剪枝神经网络中样本复杂度的理论视角

PDF
TL;DR本文通过分析目标函数的几何结构和样本复杂度，理论上证明了剪枝神经网络在加速随机梯度下降算法的特定情况下，训练过程中获得零泛化误差所需的样本数与隐藏层中未被剪枝的权重数成正比，从而提供了对中奖票证明的形式化证明。
lottery ticket hypothesispruned neural networkgeneralizationaccelerated stochastic gradient descentsample complexity
发现论文，激发创造
  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 概率建模：在脉冲神经网络中证明彩票票证假设

    本文提出了一种新的概率建模方法来适应间歇性发放信号神经元的复杂时间空间动力学，通过定理及实验证明了 LTH 在间歇性发放信号神经网络上成立，并进一步设计了一种基于我们理论的新的剪枝准则，取得了比基线更好的剪枝效果。

    May, 2023

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 抽奖票据假设调查

    抽奖票假设（LTH）指出，一个密集的神经网络模型包含一个高度稀疏的子网络（即获奖票），当单独训练时可以实现比原始模型更好的性能。尽管 LTH 已经在许多工作中经过了经验和理论上的证明，但仍然存在一些待解决的问题，如效率和可扩展性。此调查旨在提供 LTH 研究现状的深入了解，并建立一个有序维护的平台来进行实验并与最新基准进行比较。

    Mar, 2024

  • 证明《中奖彩票假说》: 剪枝就是你所需的一切

    该研究提出彩票票据假设，证明对于每个有界分布以及带有有界权重的目标网络，一个具有随机权重的足够超参数的神经网络包含一个子网络，与目标网络具有大致相同的准确性，而不需要进一步的训练。

    Feb, 2020

  • 少年期假设：从 “中奖券假设” 研究中可以学到什么？

    提出了一种结合神经网络结构搜索和剪枝算法的策略，以解决原始 “彩票票据假设” 的遗忘问题，使得能够在不影响性能的情况下持续训练和剪枝过程，获得更深层次、更好的泛化能力和更好的测试性能的新 “获奖票据子网络”，并进一步探讨了保持网络年轻化的因素可能影响神经网络的学习潜力或泛化性能的新假设。

    Sep, 2021

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • 彩票票保留权重相关性：是可取还是不可取？

    通过研究神经网络模型剪枝，提出了 “Lottery Ticket Hypothesis”，发现神经网络的初始化和学习率等条件会影响最优子网络的提取，同时提出 “Pruning & Fine-tuning” 方法来优化剪枝和训练，实验证明该方法在多种深度神经网络结构上表现出色。

    Feb, 2021

  • 用于目标识别的彩票票据假设

    文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis（LTH）方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果，结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。

    Dec, 2020

  • 具有结构强胜算头奖券的 N 次多项式超参数化卷积神经网络

    给定一个研究论文，识别并提取五个准确代表其主题和研究领域的关键词。然后，通过一句简洁的中文句子总结该论文。输出结果为 JSON，包含关键词和摘要字段，无需解释。

    Nov, 2023