我们介绍了快速优化器基准（FOB），这是一种用于在其开发过程中评估深度学习优化器的工具。该基准支持来自多个领域（如计算机视觉、自然语言处理和图学习）的任务。其重点在于方便使用，具有人类可读的 YAML 配置、SLURM 集成和绘图实用程序。FOB 可与现有的超参数优化（HPO）工具一起使用，因为它处理训练和恢复运行。模块化设计使其能够集成到自定义流水线中，只需将其作为任务集合使用。我们通过一个优化器比较的示例展示了我们的工具的用法。FOB 可以在 GitHub 上找到：https://github.com/。

Jun, 2024

本文通过对 15 种深度学习优化器的广泛基准测试，得出以下结论：(i) 优化器的性能因任务而异。(ii) 使用默认参数评估多个优化器大致与调整单个优化器的超参数一样好。(iii) Adam 仍然是一个强有力的竞争者，其它新的方法未能显著并持续地超越它。

Jul, 2020

最近，深度学习社区对进化优化（EO）产生了兴趣，其作为解决难以优化问题的手段，例如，通过长内循环展开进行元学习或优化非可微分运算符。这一趋势的一个核心原因是硬件加速和兼容软件的最新创新 - 使得分布式种群评估比以前更容易。然而，与基于梯度下降的方法不同，对于 EO 方法，缺乏超参数理解和最佳实践 - 这可能是由于对 EO 方法进行严重的研究生下降和基准测试的缺乏所致。此外，进化社区的经典基准对深度学习应用提供很少实用的见解。这对于新来者加入到硬件加速 EO 以及阻碍了其显著采用造成了挑战。因此，我们建立了一个针对深度学习应用的 EO 方法新基准（NeuroEvoBench），并对传统和元学习 EO 进行了全面评估。我们研究了资源分配、适应度塑造、规范化、正则化和 EO 的可扩展性等核心科学问题。该基准在此 https URL 下以 Apache-2.0 许可证的形式开源。

Nov, 2023

提出了 Benchopt，这是一个协作框架，旨在自动化、再现和发布跨编程语言和硬件架构的机器学习优化基准测试，为社区提供了一个现成的工具，以简化基准测试，并展示了三个标准学习任务的基准测试结果，重点关注实际评估中的细节问题，以此促进社区协作工作，改善研究结果的可再生性。

Jun, 2022

机器学习和黑盒优化之间的相互影响性及算法性能的比较研究：基于机器学习和黑盒优化的算法在有限预算下具有较好性能，但随着预算增加，其他算法家族通常表现更好。

Sep, 2023

本文介绍了 NeurIPS 2020 的黑盒优化挑战赛结果和洞见，强调了评估无导数优化器以调整机器学习模型的超参数的重要性，并在真实数据集上基于多个标准机器学习模型的调整性能进行了排名。

Apr, 2021

Design-Bench presents a benchmark for offline model-based optimization (MBO) with high-capacity deep neural networks using diverse and realistic tasks derived from real-world optimization problems in biology, materials science, and robotics.

Feb, 2022

Deep500 是第一个可定制的基准测试基础架构，能够公平比较深度学习框架、算法、库和技术。它具有可定制性，公平性，速度快，可验证性，可重复性，并提供使用最强大的超级计算机进行极大规模工作负载的软件基础设施。

Jan, 2019

为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了 HPOBench 基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自 6 种优化工具的 13 种优化器进行了大规模研究验证 HPOBench 的实用性。

Sep, 2021

COCO 是一个开源平台，旨在自动化比较黑盒优化器。该平台允许使用相同的框架来测试确定性和随机求解器以进行单目标和多目标优化。论文详细介绍了 COCO 的基本概念和代码结构，以及问题和实例的定义、目标值的使用和运行时间的定义等关键概念。

Mar, 2016