如何学会不再担忧并热爱重新培训

ICLRNov, 2021

如何学会不再担忧并热爱重新培训

How I Learned to Stop Worrying and Love Retraining

Max Zimmer, Christoph Spiegel, Sebastian Pokutta

TL;DR该研究探讨了神经网络剪枝的相关问题，包括学习率、训练预算、线性学习率表等，并通过提出一个简单而有效的方法来适应性地选择线性表的初始值，进而减少网络的训练时间和复杂度。

Abstract

Many neural network pruning approaches consist of several iterative training and pruning steps, seemingly losing a significant amount of their performance after pruning and then recovering it in the subsequent retraining phase. Recent works of Renda et al. (2020) and Le & Hua (2021) de

neural network pruning learning rate schedule training budget linear schedule sparsification

发现论文，激发创造

有意义的网络剪枝：重新训练变体的案例研究

本文分析不同的修剪机制对神经网络修剪重训练的影响

May, 2021

优化深度神经网络迭代剪枝学习率调度

本文提出了一种名为 SILO 的改进型学习率优化策略来优化网络剪枝，通过在剪枝理论上给出理论证明，并在各种网络和流行数据集（例如 ImageNet，CIFAR-10 / 100）上进行广泛实验，获得了 2％-4％的性能提升。

Dec, 2022

重新思考网络剪枝的价值

本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比较了 “Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其 “获胜券” 初始化并未带来提高。

Oct, 2018

PERP: 重新思考 LLM 时代的修剪再训练范式

通过修剪来高效地压缩神经网络，减少存储和计算需求，同时保持预测性能，我们提出了一种参数高效的修剪后重训练方法，使得修剪和重训练大规模语言模型的任务成为可能。

Dec, 2023

神经网络剪枝中比较重置和微调

本文提出了两种新的训练技术（Weight Rewinding 和 Learning Rate Rewinding）并将它们与传统 Fine Tuning 技术进行了比较，实验结果表明使用这两种技术进行神经网络剪枝可以获得与其他先进技术相当的压缩比和准确率。

Mar, 2020

预算训练：重新思考资源约束下的深度神经网络训练

本文引入了一个形式化的训练模式：在有限资源（预算）约束下的训练，分析了在此模式下的学习率调整方法，通过在多个任务数据集上的实验验证了线性衰减方法的优秀表现，并强调了在该模式下的预算收敛现象的重要性。

May, 2019

何时、为何以及何倍？通过优化改进的自适应学习率调度

学习率调度与优化算法的收敛性分析、学习率预热和调度优化方法的研究。

Oct, 2023

重构网络剪枝 -- 在预训练和微调范式下

本论文研究在 NLP 领域中，对预训练的 Transformers 模型采取稀疏剪枝 (sparse pruning) 技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感知的稀疏剪枝方法可以实现 20 倍的参数 / FLOPs 压缩并且不会明显损失模型的性能。

Apr, 2021

PruneTrain: 动态稀疏模型重组快速神经网络训练

我们提出了 PruneTrain，这是一种成本高效的机制，可逐步减少训练期间的计算成本，通过使用结构化组套骨骼正则化方法和其他重新配置技术，可以在 GPU 加速器上高效处理缩小了的卷积神经网络模型，从而实现减少计算成本 40％和训练时间 39％的效果。

Jan, 2019

代理拉格朗日松弛法：一种无需重新训练的深度神经网络剪枝路径

使用代理 Lagrange 松弛的系统性权重剪枝优化方法，可以通过少量的重新训练，实现比现有技术更快的收敛速度和更高的剪枝压缩率，同时维持高精度。

Apr, 2023