Oct, 2019

深度学习优化器的实证比较

PDF
TL;DR本文证明了优化器比较对超参数调整协议的敏感性，提出探究搜索空间是解释当前文献中最新动态排名的最重要因素之一，并展示实验结果证明了目前广泛使用的自适应梯度方法永远不会劣于动量或梯度下降。
发现论文，激发创造
  • 深度学习优化器基准测试 - 穿越拥挤的山谷

    本文通过对 15 种深度学习优化器的广泛基准测试，得出以下结论：(i) 优化器的性能因任务而异。(ii) 使用默认参数评估多个优化器大致与调整单个优化器的超参数一样好。(iii) Adam 仍然是一个强有力的竞争者，其它新的方法未能显著并持续地超越它。

    Jul, 2020

  • 优化器基准测试需考虑超参数调整

    本文的研究结果表明，Adam 优化器是一种实用的解决方案，尤其在低预算场景中，因为评估不同优化器的性能必须考虑到超参数搜索的计算成本和难度。

    Oct, 2019

  • 当为自然语言处理任务微调预训练 Transformer 模型时，是否应该尝试多个优化器？是否需要调整其超参数？

    通过实验发现，当优化器的超参数调整后，复杂的自适应优化器在测试性能上并没有实质性的差异，而仅调整学习率在大多数情况下就能达到与调整所有超参数相当的效果，因此建议选择最佳性能的任何自适应优化器，并仅调整其学习率。当无法调整超参数时，SGD with Momentum 是最佳选择。

    Feb, 2024

  • 深度学习中优化假设的实证测试

    我们通过开发新的实证度量标准来对能够解释现代优化算法的分析假设进行仔细的测量，发现所有我们测试的假设（包括基于 Hessian 界限的典型现代假设）都无法可靠地捕捉优化性能，这凸显了对理论分析中使用的分析假设进行新的实证验证的需求。

    Jul, 2024

  • 学习优化器的训练动态调查

    深度学习中优化的关键问题是通过学习优化器来加速优化过程，但其稳定性、泛化性仍存在问题。本研究通过分析网络架构对优化轨迹和参数更新分布的影响，研究并对比手动设计和学习优化器的优缺点，提出了关键见解。

    Dec, 2023

  • 调参还是不调参？一种推荐重要超参数的方法

    本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和 Adaboost 分类器是最佳选择的结论。

    Aug, 2021

  • 基于经验的优化器选择策略研究：面向非分布式环境下的广义泛化问题

    研究不同类型的分布偏移下用于图像和文本分类的常用优化器的性能，发现自适应优化器表现较差，并且在分布偏移对分类准确性的影响方面呈现三种类别的行为，可以帮助实践者选择正确的优化器。

    Nov, 2022

  • 梯度下降优化在策略梯度方法中的实证分析：我的最优解去哪了？

    本论文研究不同的梯度下降优化方法对深度强化学习的影响，并发现适应性优化器有一个有效学习率的狭窄窗口，同时动量的有效性会因环境属性而异，为深度强化学习算法的优化提供了新的思路和建议。

    Oct, 2018

  • 在学习优化器中，内存、计算和性能之间的实际权衡

    本文主要研究了利用学习优化器代替手动设计的优化器来优化机器学习系统，重点探讨了如何平衡模型训练的内存、计算和性能三方面的权衡，并构建了一个更快捷、更高效的学习优化器。

    Mar, 2022

  • 自适应随机优化器的最佳超参数 $ε$ 探索：基于梯度直方图的方法

    基于梯度直方图的新框架分析和证明自适应优化器的重要属性，包括最佳性能和超参数之间的关系和依赖性；同时，提出一种基于梯度直方图的新算法，可以自动估计减少且准确的搜索空间，用于寻找安全保护超参数 epsilon 的最佳值。

    Nov, 2023