Dec, 2022

优化深度神经网络迭代剪枝学习率调度

PDF
TL;DR本文提出了一种名为 SILO 的改进型学习率优化策略来优化网络剪枝，通过在剪枝理论上给出理论证明，并在各种网络和流行数据集（例如 ImageNet，CIFAR-10 / 100）上进行广泛实验，获得了 2％-4％的性能提升。
network pruninglearning rate schedulessiloaccuracygeneralization
发现论文，激发创造
  • 如何学会不再担忧并热爱重新培训

    该研究探讨了神经网络剪枝的相关问题，包括学习率、训练预算、线性学习率表等，并通过提出一个简单而有效的方法来适应性地选择线性表的初始值，进而减少网络的训练时间和复杂度。

    Nov, 2021

  • 何时、为何以及何倍？通过优化改进的自适应学习率调度

    学习率调度与优化算法的收敛性分析、学习率预热和调度优化方法的研究。

    Oct, 2023

  • 大批量训练自动学习率调度器

    本文提出了一种有效的 LR 调试算法，其中包括自适应的预热和预定义的衰减，通过高斯过程平滑的在线检查方法可以有效地训练具有大批次大小的神经网络。

    Jul, 2021

  • AutoLRS: 基于贝叶斯优化的自动学习率调整

    该研究提出了一种名为 AutoLRS 的自适应学习率优化方法，使用贝叶斯优化自动调整神经网络中的学习率，能够显著提高训练的效率和准确性。

    May, 2021

  • 代理拉格朗日松弛法：一种无需重新训练的深度神经网络剪枝路径

    使用代理 Lagrange 松弛的系统性权重剪枝优化方法，可以通过少量的重新训练，实现比现有技术更快的收敛速度和更高的剪枝压缩率，同时维持高精度。

    Apr, 2023

  • 口罩、标志与学习率重置

    通过理解学习率重置在结构和参数学习上的优势，我们能更接近设计更灵活的深度学习算法，能优化各种稀疏架构的集合。

    Feb, 2024

  • 有意义的网络剪枝：重新训练变体的案例研究

    本文分析不同的修剪机制对神经网络修剪重训练的影响

    May, 2021

  • 时间表之外的道路

    不依赖于优化停止步骤 T 的现有学习率调度比依赖 T 的学习率调度性能更好。我们提出了一种完全避免使用调度的方法，同时在从凸问题到大规模深度学习问题的广泛问题范围内展示了与调度相比的最先进性能。我们的无调度方法与带有动量的标准优化器没有额外的超参数。我们的方法是我们开发的一种新理论的直接结果，该理论统一了调度和迭代平均化。我们的方法的开源实现可在此 URL 找到。

    May, 2024

  • 学习自适应学习率调度

    本文提出了基于强化学习的框架，通过利用过去训练历史的信息来自动学习自适应学习率调度器，验证实验结果表明，自动学习学习率控制器能够获得更好的测试结果，并且经过训练的控制器网络是可迁移的。

    Sep, 2019

  • 深度神经网络高准确率训练的学习率政策解析

    本文基于 LRBench 系统对 13 种学习率函数以及相应的学习率策略进行研究，提出了一组评估和选择学习率策略的度量标准，包括分类置信度、方差、成本和鲁棒性，表明 LRBench 辅助用户选择好的学习率策略，避免训练深度神经网络时出现不良策略。

    Aug, 2019