Jun, 2022

Benchopt: 可重现、高效和协作的优化基准

PDF
TL;DR提出了 Benchopt，这是一个协作框架，旨在自动化、再现和发布跨编程语言和硬件架构的机器学习优化基准测试，为社区提供了一个现成的工具，以简化基准测试，并展示了三个标准学习任务的基准测试结果，重点关注实际评估中的细节问题，以此促进社区协作工作，改善研究结果的可再生性。
numerical validationmachine learningoptimization benchmarkscollaborative frameworkreproducibility
发现论文，激发创造
  • 联合结构和超参数优化的表格基准测试

    为了更好地评估超参数优化方法，本文提供了一组便宜但仍然代表现实用例的基准测试，并在基准测试上对超参数优化方法进行了广泛的性能和鲁棒性比较。

    May, 2019

  • DeepOBS: 一个深度学习优化器基准测试套件

    提出一个用于深度学习优化基准的 Python 包 DeepOBS，该包包括广泛和可扩展的真实优化问题集，以及最流行的优化器的基准结果，支持 TensorFlow，并提供直接生成 LaTeX 代码的输出后端。

    Mar, 2019

  • 学习优化：入门与基准

    本文是第一篇关于连续优化问题的、全面的学习优化（L2O）综述和基准论文。我们对现有方案和研究方向进行分类，并对若干最具代表性的优化问题进行了基准测试。同时，我们在 Open-L2O 包中发布了我们的实现和数据，以进行可重复的研究和公平的基准测试。

    Mar, 2021

  • Design-Bench: 基于数据驱动的离线模型优化基准测试

    Design-Bench presents a benchmark for offline model-based optimization (MBO) with high-capacity deep neural networks using diverse and realistic tasks derived from real-world optimization problems in biology, materials science, and robotics.

    Feb, 2022

  • HPO-B: 基于 OpenML 的黑盒超参数优化大规模可复现基准测试

    提出了一个新的基准 HPO-B，该基准从 OpenML 存储库中组装和预处理，由 176 个搜索空间和 196 个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒 HPO 方法在公平和快速的比较中具有可重复性。

    Jun, 2021

  • 优化算法基准测试本体

    本文介绍了一种机读的本体论方法 OPTION，它提供了语义标注标准以及算法、问题以及评估措施等核心实体，并可用于不同平台上的语义注释，数据集成和强大的查询功能，从而提高基准测试数据的价值。

    Nov, 2022

  • HPOBench: HPO 复现性多保真性能基准问题集合

    为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了 HPOBench 基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自 6 种优化工具的 13 种优化器进行了大规模研究验证 HPOBench 的实用性。

    Sep, 2021

  • CATBench: 黑盒优化的编译器自动调优基准套件

    Bayesian optimization and compiler autotuning research is advanced through the use of CATBench, a benchmarking suite that captures the complexities of compiler autotuning using machine learning-oriented computations.

    Jun, 2024

  • 终身基准：快速进展时代中高效的模型评估

    通过创建生命周期基准测试集，对过度依赖基准测试特异性的算法进行测试，通过引入基于动态规划算法的高效评估框架 Sort & Search（S&S）来降低评估成本，有效减少了计算成本并提供了对 “基准耗尽” 问题的可靠、实用解决方案。

    Feb, 2024

  • 基准彩票

    本文提出了 “基准测试彩票” 的概念，以描述机器学习基准测试过程的整体脆弱性，指出基准测试流程中的许多因素可能导致某种方法被认为优越。同时，本文通过选择不同的基准任务，揭示了算法的相对性能可能会显著改变，强调了当前范式的脆弱性，并提出了缓解这种情况的建议。

    Jul, 2021