Jun, 2020

通过 SubsetSum 实现最优彩票：对数超参数化足够

PDF
TL;DR本文证明了强 “lottery ticket hypothesis” 并非多项式过度参数化要求，反而是对数过度参数化的，通过概述了和证明了剪枝随机 ReLU 网络与随机 SubsetSum 问题的关系，并对实验数据进行了验证。
lottery ticket hypothesisover-parameterizationpruningneural networkssubsetsum
发现论文，激发创造
  • 对数剪枝是你所需的全部

    本文描述了网络里的子网络与大型网络在离线训练时实现可比较的性能，以及删除该前文的最限制性假设并提供更紧的界限来解决网络不需要除目标子网络以外的更多神经元。

    Jun, 2020

  • 具有结构强胜算头奖券的 N 次多项式超参数化卷积神经网络

    给定一个研究论文，识别并提取五个准确代表其主题和研究领域的关键词。然后，通过一句简洁的中文句子总结该论文。输出结果为 JSON，包含关键词和摘要字段，无需解释。

    Nov, 2023

  • 具有 ε- 扰动的强彩票假设

    本研究通过在预训练步骤中对权重的波动进行波动，拓展了强彩票符号假设的理论保证，从而回答了两个开放性问题：（1）通过在强编码符号假设中允许随机初始权重的 ε- 比例扰动，是否可以减少候选网络的超参数化要求？（2）SGD 的权重变化是否与这些扰动的一组好的集合相一致？我们通过扩展的剪枝方法对这些问题进行了实验验证和数学理论证明。

    Oct, 2022

  • 证明《中奖彩票假说》: 剪枝就是你所需的一切

    该研究提出彩票票据假设，证明对于每个有界分布以及带有有界权重的目标网络，一个具有随机权重的足够超参数的神经网络包含一个子网络，与目标网络具有大致相同的准确性，而不需要进一步的训练。

    Feb, 2020

  • 大多数激活函数可在没有过度深度的情况下赢得彩票

    深度神经网络训练中的强引理假设提出了剪枝的潜力，在 ReLU 激活函数网络中，通过从随机初始化的神经网络的子网络近似目标网络，可以用宽度呈对数比例增加、深度双倍的神经网络表示目标函数，文中证明可以实现深度加 1 的神经网络，预期可以在常用深度找到彩票票，且只需要对数超参数化。

    May, 2022

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 实用的彩票票假设在对抗训练中的应用

    本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

    Mar, 2020

  • 并非所有的抽奖都平等

    通过实验证明，在可接受的神经网络大小下，要发现优秀的稀疏子网络，比较小的神经网络更容易受益于 Lottery Ticket Hypothesis 并且得到更好的训练效果。

    Jun, 2022

  • 关于通用彩票券的存在

    本文证明了稀疏子网络（所谓 “奖券假设”）不仅存在于深度神经网络中，而且它所具有的普适性无需进行进一步训练，这一理念可通过本文提出的剪枝推导和显式稀疏结构的方式予以证明。

    Nov, 2021

  • 为什么彩票票获胜？剪枝神经网络中样本复杂度的理论视角

    本文通过分析目标函数的几何结构和样本复杂度，理论上证明了剪枝神经网络在加速随机梯度下降算法的特定情况下，训练过程中获得零泛化误差所需的样本数与隐藏层中未被剪枝的权重数成正比，从而提供了对中奖票证明的形式化证明。

    Oct, 2021