关键词iterative magnitude pruning
搜索结果 - 11
- 彩票票假设与迭代剪枝的深入洞察
深度神经网络的票证彩票假设强调了重新训练使用迭代幅度修剪过程获得的更稀疏网络所使用的初始化的重要性。这项研究试图通过对幅度修剪过程的各个阶段获得的解决方案的体积 / 几何和损失景观特征进行经验性研究，以揭示票证彩票假设的特定初始化为何在泛化 - ICLR口罩、标志与学习率重置
通过理解学习率重置在结构和参数学习上的优势，我们能更接近设计更灵活的深度学习算法，能优化各种稀疏架构的集合。
- 杯子课程：模型容量的课程学习
通过应用一种专门的学习策略，课程学习旨在提高学习者在给定任务上的表现，可以关注数据集、任务或模型。然而，在自然语言处理中，关于在模型容量上应用课程学习的研究还很少。为了弥补这一空白，我们提出了杯子课程学习方法。在训练的第一阶段，我们采用了迭 - 稀疏神经网络中的线性模式连接
通过使用合成数据进行神经网络剪枝，我们发现在使用迭代幅度剪枝（IMP）时，与真实数据 IMP 所找到的次网络相比，与真实数据中的 SGD 噪声更稳定的新型稀疏网络类。通过线性插值、损失面可视化和测量海森矩阵的对角线进行研究，我们发现这些性质 - 迭代幅值修剪作为重整化群：抽奖票假设背景下的研究
本文探讨了深度神经网络（DNNs）的复杂世界，专注于激动人心的 Lottery Ticket Hypothesis（LTH）的概念。LTH 假设在大量的 DNNs 中，较小的可训练子网络（称为 “中奖票”）可以达到与完整模型相当的性能。我们 - SWAMP: 迭代幅值削减的多粒子稀疏权重平均
本文提出一种基于迭代幅值修剪 (Iterative Magnitude Pruning, IMP) 算法的改进方法 Sparse Weight Averaging with Multiple Particles (SWAMP)，通过同时训练 - ICML零阶拓扑洞察迭代幅值裁剪
本文通过利用 persistent homology 的概念，阐明了 Iterative Magnitude Pruning 内在地鼓励保留神经网络拓扑信息的特性，并提出了一种改进的版本以完美保留零阶拓扑特征。
- 数据精简的彩票票：在稀疏可训练网络中寻找初始化参数
通过数据分布和损失面景观的角度，我们研究了 IMP 的预训练阶段如何为好的初始化做出贡献，得出了在密集网络的损失面景观中更多的线性模式连接示有利于 IMP 性能的结论。
- 初始化时寻找彩票号码
该论文提出了一种名为 “Gem-Miner” 的方法，它可以在初始化时找到可训练的彩票网络，进而在精度方面击败当前的基线，而且速度比迭代性大小修剪（IMP）快多达 19 倍。
- 线性模型中的彩票票：迭代幅值剪枝分析
本文分析了彩票假设下利用迭代幅值剪枝方法对梯度流训练的线性模型进行裁剪的过程，并探讨了 IMP 作为一种稀疏估计方法的效果。
- ICML线性模式连通性与彩票票证假说
研究神经网络优化是否在不同的 SGD 噪声样本下优化到相同的线性连接最小值；发现标准视觉模型在训练早期就变得稳定了，IMP 只有在稳定下来 SGD 噪声时才能达到完全准确性。