本文介绍了 IOHprofiler，一个自动化算法评估工具，以及在不同优化问题上的实践，通过比较并分析不同启发式算法的表现，提供了对各种方法优势和劣势的认识，并能进行自动算法选择和配置，为迭代优化启发式算法提供了常用的参考和标准。

Dec, 2019

本文介绍了一个基准测试算法的设置，旨在为子模优化问题的新算法的性能提供框架和比较。重点是开发迭代搜索算法，如进化算法，并将其实现提供并集成到 IOHprofiler 中，以跟踪和比较迭代搜索算法的进展和性能。我们介绍了一系列已集成到 IOHprofiler 中的子模优化问题，并展示了如何在各种设置中使用设置来分析和比较迭代搜索算法。

Feb, 2023

介绍了一种名为 IOH-Xplainer 的软件框架，用于分析和理解各种优化算法的性能以及它们不同组件和超参数的影响，通过该框架，我们对不同算法组件和配置的影响进行了研究，为不同场景下的性能提供了深入的见解。提供了一种系统方法来评估和解释迭代优化启发式的行为和效率，使得更好的基准测试和算法设计成为可能。

Jan, 2024

COCO 是一个开源平台，旨在自动化比较黑盒优化器。该平台允许使用相同的框架来测试确定性和随机求解器以进行单目标和多目标优化。论文详细介绍了 COCO 的基本概念和代码结构，以及问题和实例的定义、目标值的使用和运行时间的定义等关键概念。

Mar, 2016

我们介绍了快速优化器基准（FOB），这是一种用于在其开发过程中评估深度学习优化器的工具。该基准支持来自多个领域（如计算机视觉、自然语言处理和图学习）的任务。其重点在于方便使用，具有人类可读的 YAML 配置、SLURM 集成和绘图实用程序。FOB 可与现有的超参数优化（HPO）工具一起使用，因为它处理训练和恢复运行。模块化设计使其能够集成到自定义流水线中，只需将其作为任务集合使用。我们通过一个优化器比较的示例展示了我们的工具的用法。FOB 可以在 GitHub 上找到：https://github.com/。

Jun, 2024

深度学习研究中，超参数选择对结果产生重要影响，然而深度学习训练的耗时性质使得超参数优化变得昂贵，本文提供了一个用户友好的 Python 包，利用零成本基准测试实现了高效并行的超参数优化，通过文件系统中的信息计算返回顺序，从而消除了长时间等待，实现了比传统方法快 1000 倍以上的加速。

Mar, 2024

该研究提出了性能控制图的概念作为一个用于对比和测试软件优化效果的工具，并展示了性能控制图相比其他性能评估工具拥有更好的特点。

Feb, 2001

AIOptimizer 是一个使用强化学习控制的推荐系统，通过数据收集技术、持续学习和有弹性的融合设计等因素来提高软件系统效率和可负担性；研究重点在于各种软件开发生命周期模型，AIOptimizer 是一个理论性的原型工具。

Jul, 2023

本文介绍了 Python 编写的综合工具套件，用于有效的多保真贝叶斯优化和其运行分析，以解决黑盒贝叶斯优化中因每个模型的训练和评估需要数小时而导致的问题。

Aug, 2019

为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了 HPOBench 基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自 6 种优化工具的 13 种优化器进行了大规模研究验证 HPOBench 的实用性。

Sep, 2021