Jun, 2024

快速优化器基准测试

PDF
TL;DR我们介绍了快速优化器基准（FOB），这是一种用于在其开发过程中评估深度学习优化器的工具。该基准支持来自多个领域（如计算机视觉、自然语言处理和图学习）的任务。其重点在于方便使用，具有人类可读的 YAML 配置、SLURM 集成和绘图实用程序。FOB 可与现有的超参数优化（HPO）工具一起使用，因为它处理训练和恢复运行。模块化设计使其能够集成到自定义流水线中，只需将其作为任务集合使用。我们通过一个优化器比较的示例展示了我们的工具的用法。FOB 可以在 GitHub 上找到：https://github.com/。
发现论文，激发创造
  • DeepOBS: 一个深度学习优化器基准测试套件

    提出一个用于深度学习优化基准的 Python 包 DeepOBS，该包包括广泛和可扩展的真实优化问题集，以及最流行的优化器的基准结果，支持 TensorFlow，并提供直接生成 LaTeX 代码的输出后端。

    Mar, 2019

  • HPOBench: HPO 复现性多保真性能基准问题集合

    为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了 HPOBench 基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自 6 种优化工具的 13 种优化器进行了大规模研究验证 HPOBench 的实用性。

    Sep, 2021

  • 实用的一阶贝叶斯优化算法

    本文提出了一种基于高斯过程（GP）和利用梯度信息的多层次收获函数的 FOBO 算法，该算法在机器学习中的应用并验证结果优于现有的方法。

    Jun, 2023

  • 深度学习优化器基准测试 - 穿越拥挤的山谷

    本文通过对 15 种深度学习优化器的广泛基准测试，得出以下结论：(i) 优化器的性能因任务而异。(ii) 使用默认参数评估多个优化器大致与调整单个优化器的超参数一样好。(iii) Adam 仍然是一个强有力的竞争者，其它新的方法未能显著并持续地超越它。

    Jul, 2020

  • BOAH: 多保真贝叶斯优化和超参数分析工具套件

    本文介绍了 Python 编写的综合工具套件，用于有效的多保真贝叶斯优化和其运行分析，以解决黑盒贝叶斯优化中因每个模型的训练和评估需要数小时而导致的问题。

    Aug, 2019

  • 零成本基准测试下异步多保真度优化的快速基准测试

    深度学习研究中，超参数选择对结果产生重要影响，然而深度学习训练的耗时性质使得超参数优化变得昂贵，本文提供了一个用户友好的 Python 包，利用零成本基准测试实现了高效并行的超参数优化，通过文件系统中的信息计算返回顺序，从而消除了长时间等待，实现了比传统方法快 1000 倍以上的加速。

    Mar, 2024

  • 基于低预算的黑盒优化算法在 BBOB 和 OpenAI Gym 上的评估

    机器学习和黑盒优化之间的相互影响性及算法性能的比较研究：基于机器学习和黑盒优化的算法在有限预算下具有较好性能，但随着预算增加，其他算法家族通常表现更好。

    Sep, 2023

  • FlexHB: 一个更高效和灵活的超参数优化框架

    通过将 Bayesian Optimization 与 FlexHB 相结合，并重新设计 Successive Halving 的 early stopping 框架，提高了多信度 BO 搜索最优配置的效率，获得了超过其他方法的速度提升。

    Feb, 2024

  • Far-HO: 一个双层规划软件包，用于超参数优化和元学习

    该研究提出了一个数学框架，基于双层规划，可以包含基于梯度的超参数优化和元学习。使用 Far-HO 软件包，可以优化学习率、自动权重单个样例的损失并学习超级表征。

    Jun, 2018

  • 联合结构和超参数优化的表格基准测试

    为了更好地评估超参数优化方法，本文提供了一组便宜但仍然代表现实用例的基准测试，并在基准测试上对超参数优化方法进行了广泛的性能和鲁棒性比较。

    May, 2019