May, 2023

概率建模：在脉冲神经网络中证明彩票票证假设

PDF
TL;DR本文提出了一种新的概率建模方法来适应间歇性发放信号神经元的复杂时间空间动力学，通过定理及实验证明了 LTH 在间歇性发放信号神经网络上成立，并进一步设计了一种基于我们理论的新的剪枝准则，取得了比基线更好的剪枝效果。
lottery ticket hypothesisneural networknetwork pruningspiking neural networksprobabilistic modeling
发现论文，激发创造
  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 抽奖票据假设调查

    抽奖票假设（LTH）指出，一个密集的神经网络模型包含一个高度稀疏的子网络（即获奖票），当单独训练时可以实现比原始模型更好的性能。尽管 LTH 已经在许多工作中经过了经验和理论上的证明，但仍然存在一些待解决的问题，如效率和可扩展性。此调查旨在提供 LTH 研究现状的深入了解，并建立一个有序维护的平台来进行实验并与最新基准进行比较。

    Mar, 2024

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 为什么彩票票获胜？剪枝神经网络中样本复杂度的理论视角

    本文通过分析目标函数的几何结构和样本复杂度，理论上证明了剪枝神经网络在加速随机梯度下降算法的特定情况下，训练过程中获得零泛化误差所需的样本数与隐藏层中未被剪枝的权重数成正比，从而提供了对中奖票证明的形式化证明。

    Oct, 2021

  • 成功将抽奖票假设应用于扩散模型

    通过将 Lottery Ticket Hypothesis 应用于扩散模型，本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型，并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。

    Oct, 2023

  • 具有 ε- 扰动的强彩票假设

    本研究通过在预训练步骤中对权重的波动进行波动，拓展了强彩票符号假设的理论保证，从而回答了两个开放性问题：（1）通过在强编码符号假设中允许随机初始权重的 ε- 比例扰动，是否可以减少候选网络的超参数化要求？（2）SGD 的权重变化是否与这些扰动的一组好的集合相一致？我们通过扩展的剪枝方法对这些问题进行了实验验证和数学理论证明。

    Oct, 2022

  • 用于目标识别的彩票票据假设

    文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis（LTH）方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果，结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。

    Dec, 2020

  • 并非所有的抽奖都平等

    通过实验证明，在可接受的神经网络大小下，要发现优秀的稀疏子网络，比较小的神经网络更容易受益于 Lottery Ticket Hypothesis 并且得到更好的训练效果。

    Jun, 2022

  • 具有结构强胜算头奖券的 N 次多项式超参数化卷积神经网络

    给定一个研究论文，识别并提取五个准确代表其主题和研究领域的关键词。然后，通过一句简洁的中文句子总结该论文。输出结果为 JSON，包含关键词和摘要字段，无需解释。

    Nov, 2023

  • 探索抽奖票假设和可解释性方法：稀疏网络性能洞察

    在本研究中，我们通过使用 Grad-CAM 和 Post-hoc 概念瓶颈模型（PCBMs）分别从像素和高级概念的角度，调查了经过裁剪的网络的可解释性。通过在视觉和医学影像数据集上进行广泛实验，我们发现随着权重的减少，网络的性能会下降，并且从裁剪网络中发现的概念和像素与原始网络不一致，可能是性能下降的原因。

    Jul, 2023