Mar, 2021

弹性彩票假设

PDF
TL;DR本文提出了一种弹性彩票假设（Elastic Lottery Ticket Hypothesis），证明了通过适当地调整一种深度学习神经网络的层级结构，可以从同一类神经网络的另一个较深或较浅网络中拉伸或压缩其获胜彩票，从而实现相当于 IMP 直接发现的性能。
lottery ticket hypothesissparse trainable subnetworksiterative magnitude-based pruningelastic lottery ticket hypothesisdeep learning
发现论文，激发创造
  • 成功将抽奖票假设应用于扩散模型

    通过将 Lottery Ticket Hypothesis 应用于扩散模型，本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型，并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。

    Oct, 2023

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 粗化粒度：朝向结构稀疏的彩票神经元

    本文提出一种新方法，通过迭代的裁剪与一系列 “后处理技术”，找到带有结构化稀疏性的获奖子网络，从而在不影响模型精度的情况下，显著提高模型的推理速度。

    Feb, 2022

  • 抽奖票据假设调查

    抽奖票假设（LTH）指出，一个密集的神经网络模型包含一个高度稀疏的子网络（即获奖票），当单独训练时可以实现比原始模型更好的性能。尽管 LTH 已经在许多工作中经过了经验和理论上的证明，但仍然存在一些待解决的问题，如效率和可扩展性。此调查旨在提供 LTH 研究现状的深入了解，并建立一个有序维护的平台来进行实验并与最新基准进行比较。

    Mar, 2024

  • 用于目标识别的彩票票据假设

    文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis（LTH）方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果，结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。

    Dec, 2020

  • 并非所有的抽奖都平等

    通过实验证明，在可接受的神经网络大小下，要发现优秀的稀疏子网络，比较小的神经网络更容易受益于 Lottery Ticket Hypothesis 并且得到更好的训练效果。

    Jun, 2022

  • 探索抽奖票假设和可解释性方法：稀疏网络性能洞察

    在本研究中，我们通过使用 Grad-CAM 和 Post-hoc 概念瓶颈模型（PCBMs）分别从像素和高级概念的角度，调查了经过裁剪的网络的可解释性。通过在视觉和医学影像数据集上进行广泛实验，我们发现随着权重的减少，网络的性能会下降，并且从裁剪网络中发现的概念和像素与原始网络不一致，可能是性能下降的原因。

    Jul, 2023

  • 视觉 Transformer 的数据级彩票假设

    本文提出了一种数据级彩票假设（Data-LTH-ViT），旨在寻找将 Vision Transformers 训练到与使用所有图像补丁训练模型相似准确度的可行子集。结果表明，使用获胜彩票的模型与随机选择子集的模型的性能存在明显差异，并且该理论具有与传统 LTH 相似之处。

    Nov, 2022

  • 具有 ε- 扰动的强彩票假设

    本研究通过在预训练步骤中对权重的波动进行波动，拓展了强彩票符号假设的理论保证，从而回答了两个开放性问题：（1）通过在强编码符号假设中允许随机初始权重的 ε- 比例扰动，是否可以减少候选网络的超参数化要求？（2）SGD 的权重变化是否与这些扰动的一组好的集合相一致？我们通过扩展的剪枝方法对这些问题进行了实验验证和数学理论证明。

    Oct, 2022