Mar, 2024

零成本基准测试下异步多保真度优化的快速基准测试

HTML
PDF
TL;DR深度学习研究中，超参数选择对结果产生重要影响，然而深度学习训练的耗时性质使得超参数优化变得昂贵，本文提供了一个用户友好的Python包，利用零成本基准测试实现了高效并行的超参数优化，通过文件系统中的信息计算返回顺序，从而消除了长时间等待，实现了比传统方法快1000倍以上的加速。
发现论文，激发创造
  • 联合结构和超参数优化的表格基准测试

    为了更好地评估超参数优化方法，本文提供了一组便宜但仍然代表现实用例的基准测试，并在基准测试上对超参数优化方法进行了广泛的性能和鲁棒性比较。

    May, 2019

  • 超参数优化的元代理基准测试

    提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。

    May, 2019

  • 超参数优化: 算法和应用综述

    利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

    Mar, 2020

  • HPO-B: 基于OpenML的黑盒超参数优化大规模可复现基准测试

    提出了一个新的基准HPO-B，该基准从OpenML存储库中组装和预处理，由176个搜索空间和196个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒HPO方法在公平和快速的比较中具有可重复性。

    Jun, 2021

  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • HPOBench: HPO复现性多保真性能基准问题集合

    为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了HPOBench基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自6种优化工具的13种优化器进行了大规模研究验证HPOBench的实用性。

    Sep, 2021

  • 基于灰盒动态优化的深度学习超参数高效优化

    介绍了一种名为DyHPO的灰箱超参数优化方法，它能够学习动态决定下一个尝试哪个配置和预算。通过50个数据集和各种神经网络的大规模实验，我们证明了DyHPO比最先进的超参数优化基线具有显着的优越性。

    Feb, 2022

  • 无需等待，在 HPO 基准测试中模拟多保真度优化的 Python 封装工具

    本研究开发出Python封装器来解决异步超参数优化（multi-fidelity optimization）中的评估顺序问题，从而加速深度学习（deep learning）的超参数调优（HP optimization），将等待时间减少到0.01秒，使用简单。

    May, 2023

  • 一次迭代是否足够进行多重准确性超参数优化？

    调研中发现多样性MF-HPO基准测试应包含更复杂的案例，同时建议研究人员始终使用建议的基准测试以及多样性MF-HPO方法的基准测试结果需要延长计算时间。

    Jul, 2023

  • 优化超参数与检验点模型权重的改进

    该论文提出了一种用于神经网络的超参数优化方法，使用已训练权重的记录检查点来引导未来的超参数选择，借助灰盒超参数优化方法，通过嵌入权重到高斯过程深度核代理模型来提高效率，并通过一个置换不变图元网络实现数据效率。

    Jun, 2024