ICLRJun, 2022

证明等变强幸运票假设的一般框架

PDF
TL;DR本文将 Strong Lottery Ticket Hypothesis（SLTH）推广至可保持群作用的网络，即 G-equivariant network, 并证明可以通过对随机初始化的过参数化 G-equivariant network 进行修剪，获得 G-equivariant subnetwork 来逼近任意 G-equivariant network。实验证明该理论适用于多种网络，包括 MLPs, CNNs, E (2)-steerable CNNs 和 permutation equivariant networks。
strong lottery ticket hypothesisequivariant networksoverparametrizationgroup action preservationneural network pruning
发现论文，激发创造
  • 具有结构强胜算头奖券的 N 次多项式超参数化卷积神经网络

    给定一个研究论文，识别并提取五个准确代表其主题和研究领域的关键词。然后，通过一句简洁的中文句子总结该论文。输出结果为 JSON，包含关键词和摘要字段，无需解释。

    Nov, 2023

  • 具有 ε- 扰动的强彩票假设

    本研究通过在预训练步骤中对权重的波动进行波动，拓展了强彩票符号假设的理论保证，从而回答了两个开放性问题：（1）通过在强编码符号假设中允许随机初始权重的 ε- 比例扰动，是否可以减少候选网络的超参数化要求？（2）SGD 的权重变化是否与这些扰动的一组好的集合相一致？我们通过扩展的剪枝方法对这些问题进行了实验验证和数学理论证明。

    Oct, 2022

  • 多层覆盖与折叠图神经网络及强彩票

    该研究基于强彩票模型假设（SLTH）证明了初始化模型中存在高效子网络，通过修剪卷积神经网络（CNN）而无需进行权重训练。论文通过采用多层拓扑和非共享蒙版方法在图神经网络（GNNs）中实现了 M-Sup 标量修剪蒙版，并通过自适应设置修剪阈值的策略，揭示了训练有素的前馈网络的非训练循环网络的性能相当。同时，通过在多个数据集上进行评估，包括 Open Graph Benchmark（OGB），该研究确立了 SLTH-GNN 的三重优势：高稀疏性、竞争性能和高内存效率，显示了其适用于高效图处理的能力。

    Dec, 2023

  • 概率建模：在脉冲神经网络中证明彩票票证假设

    本文提出了一种新的概率建模方法来适应间歇性发放信号神经元的复杂时间空间动力学，通过定理及实验证明了 LTH 在间歇性发放信号神经网络上成立，并进一步设计了一种基于我们理论的新的剪枝准则，取得了比基线更好的剪枝效果。

    May, 2023

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 通过 SubsetSum 实现最优彩票：对数超参数化足够

    本文证明了强 “lottery ticket hypothesis” 并非多项式过度参数化要求，反而是对数过度参数化的，通过概述了和证明了剪枝随机 ReLU 网络与随机 SubsetSum 问题的关系，并对实验数据进行了验证。

    Jun, 2020

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 弹性彩票假设

    本文提出了一种弹性彩票假设（Elastic Lottery Ticket Hypothesis），证明了通过适当地调整一种深度学习神经网络的层级结构，可以从同一类神经网络的另一个较深或较浅网络中拉伸或压缩其获胜彩票，从而实现相当于 IMP 直接发现的性能。

    Mar, 2021

  • 并非所有的抽奖都平等

    通过实验证明，在可接受的神经网络大小下，要发现优秀的稀疏子网络，比较小的神经网络更容易受益于 Lottery Ticket Hypothesis 并且得到更好的训练效果。

    Jun, 2022

  • 成功将抽奖票假设应用于扩散模型

    通过将 Lottery Ticket Hypothesis 应用于扩散模型，本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型，并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。

    Oct, 2023