Mar, 2024

彩票票假设与迭代剪枝的深入洞察

PDF
TL;DR深度神经网络的票证彩票假设强调了重新训练使用迭代幅度修剪过程获得的更稀疏网络所使用的初始化的重要性。这项研究试图通过对幅度修剪过程的各个阶段获得的解决方案的体积 / 几何和损失景观特征进行经验性研究，以揭示票证彩票假设的特定初始化为何在泛化（和训练）性能方面表现更好，并着重研究了幅度修剪和迭代过程的底层原理，如较小幅度权重的修剪和迭代过程的作用。
lottery ticket hypothesisdeep neural networksinitializationiterative magnitude pruninggeneralization
发现论文，激发创造
  • 迭代幅值修剪作为重整化群：抽奖票假设背景下的研究

    本文探讨了深度神经网络（DNNs）的复杂世界，专注于激动人心的 Lottery Ticket Hypothesis（LTH）的概念。LTH 假设在大量的 DNNs 中，较小的可训练子网络（称为 “中奖票”）可以达到与完整模型相当的性能。我们进一步研究了发现这些中奖票以及它们的 “通用性”，即检查在一个特定问题上表现良好的中奖票是否也可以在其他相似问题上表现良好。我们还弥合了物理学中的 Iterative Magnitude Pruning（IMP）和 Renormalisation Group（RG）理论之间的差距，进一步促进 IMP 的更严谨理解。

    Aug, 2023

  • 稳定彩票假设

    本文介绍了一种新的 IMP 修剪算法，用于提前训练深层网络而不是仅在初始化时进行修剪，从而找到可在更挑战的任务上与原始网络准确匹配的深层次子网络，并提出了结果。新的 IMP 算法可以更好地稳定修剪子网的训练参数，这为之后更早地修剪大规模网络提供了新的机遇。

    Mar, 2019

  • 线性模型中的彩票票：迭代幅值剪枝分析

    本文分析了彩票假设下利用迭代幅值剪枝方法对梯度流训练的线性模型进行裁剪的过程，并探讨了 IMP 作为一种稀疏估计方法的效果。

    Jul, 2020

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 初始化剪枝：基于草图视角

    研究了在线性设置中用于剪枝神经网络的 lottery ticket hypothesis (LTH)，发现找到一个稀疏的 mask 等价于为高效矩阵乘法引入的 sketching 问题，并以此作为工具来分析 LTH 问题并提出通用改进算法。

    May, 2023

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 用迭代随机化方法剪枝随机初始化的神经网络

    通过随机化权重值的迭代对神经网络进行修剪可以提高参数效率且不影响优化性能。

    Jun, 2021

  • 少年期假设：从 “中奖券假设” 研究中可以学到什么？

    提出了一种结合神经网络结构搜索和剪枝算法的策略，以解决原始 “彩票票据假设” 的遗忘问题，使得能够在不影响性能的情况下持续训练和剪枝过程，获得更深层次、更好的泛化能力和更好的测试性能的新 “获奖票据子网络”，并进一步探讨了保持网络年轻化的因素可能影响神经网络的学习潜力或泛化性能的新假设。

    Sep, 2021

  • 弹性彩票假设

    本文提出了一种弹性彩票假设（Elastic Lottery Ticket Hypothesis），证明了通过适当地调整一种深度学习神经网络的层级结构，可以从同一类神经网络的另一个较深或较浅网络中拉伸或压缩其获胜彩票，从而实现相当于 IMP 直接发现的性能。

    Mar, 2021

  • 探索抽奖票假设和可解释性方法：稀疏网络性能洞察

    在本研究中，我们通过使用 Grad-CAM 和 Post-hoc 概念瓶颈模型（PCBMs）分别从像素和高级概念的角度，调查了经过裁剪的网络的可解释性。通过在视觉和医学影像数据集上进行广泛实验，我们发现随着权重的减少，网络的性能会下降，并且从裁剪网络中发现的概念和像素与原始网络不一致，可能是性能下降的原因。

    Jul, 2023