Dec, 2019

使用 IOHprofiler 进行离散优化启发式算法基准测试

PDF
TL;DR本文介绍了 IOHprofiler，一个自动化算法评估工具，以及在不同优化问题上的实践，通过比较并分析不同启发式算法的表现，提供了对各种方法优势和劣势的认识，并能进行自动算法选择和配置，为迭代优化启发式算法提供了常用的参考和标准。
automated benchmarkingiterative optimization heuristicsiohprofilerfitness landscapesperformance comparisons
发现论文，激发创造
  • IOHprofiler：迭代优化算法基准测试和性能分析工具

    IOHprofiler 是一个用于分析和比较迭代优化启发式算法的工具，可以评估算法性能并跟踪算法参数的演变，是评估任意基准问题运行时间数据的独立工具，可在 GitHub 上获取。

    Oct, 2018

  • 使用 IOHProfiler 对子模优化问题进行算法基准测试

    本文介绍了一个基准测试算法的设置，旨在为子模优化问题的新算法的性能提供框架和比较。重点是开发迭代搜索算法，如进化算法，并将其实现提供并集成到 IOHprofiler 中，以跟踪和比较迭代搜索算法的进展和性能。我们介绍了一系列已集成到 IOHprofiler 中的子模优化问题，并展示了如何在各种设置中使用设置来分析和比较迭代搜索算法。

    Feb, 2023

  • 可解释性优化启发式算法的基准测试

    介绍了一种名为 IOH-Xplainer 的软件框架，用于分析和理解各种优化算法的性能以及它们不同组件和超参数的影响，通过该框架，我们对不同算法组件和配置的影响进行了研究，为不同场景下的性能提供了深入的见解。提供了一种系统方法来评估和解释迭代优化启发式的行为和效率，使得更好的基准测试和算法设计成为可能。

    Jan, 2024

  • 联合结构和超参数优化的表格基准测试

    为了更好地评估超参数优化方法，本文提供了一组便宜但仍然代表现实用例的基准测试，并在基准测试上对超参数优化方法进行了广泛的性能和鲁棒性比较。

    May, 2019

  • HPOBench: HPO 复现性多保真性能基准问题集合

    为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了 HPOBench 基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自 6 种优化工具的 13 种优化器进行了大规模研究验证 HPOBench 的实用性。

    Sep, 2021

  • 使用性能剖面评估优化软件

    该研究提出了性能控制图的概念作为一个用于对比和测试软件优化效果的工具，并展示了性能控制图相比其他性能评估工具拥有更好的特点。

    Feb, 2001

  • 比较优化算法的最佳实践

    本文系统地回顾了优化算法基准测试的过程，并讨论了公正比较的挑战。我们提供了每个步骤的建议并强调了评估优化算法性能时要避免的陷阱。我们还讨论了各种报告基准测试结果的方法。最后，提出了一些未来研究的建议以改进当前的基准测试过程。

    Sep, 2017

  • 学习优化：入门与基准

    本文是第一篇关于连续优化问题的、全面的学习优化（L2O）综述和基准论文。我们对现有方案和研究方向进行分类，并对若干最具代表性的优化问题进行了基准测试。同时，我们在 Open-L2O 包中发布了我们的实现和数据，以进行可重复的研究和公平的基准测试。

    Mar, 2021

  • 快速优化器基准测试

    我们介绍了快速优化器基准（FOB），这是一种用于在其开发过程中评估深度学习优化器的工具。该基准支持来自多个领域（如计算机视觉、自然语言处理和图学习）的任务。其重点在于方便使用，具有人类可读的 YAML 配置、SLURM 集成和绘图实用程序。FOB 可与现有的超参数优化（HPO）工具一起使用，因为它处理训练和恢复运行。模块化设计使其能够集成到自定义流水线中，只需将其作为任务集合使用。我们通过一个优化器比较的示例展示了我们的工具的用法。FOB 可以在 GitHub 上找到：https://github.com/。

    Jun, 2024

  • 优化器基准测试需考虑超参数调整

    本文的研究结果表明，Adam 优化器是一种实用的解决方案，尤其在低预算场景中，因为评估不同优化器的性能必须考虑到超参数搜索的计算成本和难度。

    Oct, 2019