Sep, 2021

HPOBench: HPO复现性多保真性能基准问题集合

HTML
PDF
TL;DR为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了HPOBench基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自6种优化工具的13种优化器进行了大规模研究验证HPOBench的实用性。
发现论文，激发创造
  • 联合结构和超参数优化的表格基准测试

    为了更好地评估超参数优化方法，本文提供了一组便宜但仍然代表现实用例的基准测试，并在基准测试上对超参数优化方法进行了广泛的性能和鲁棒性比较。

    May, 2019

  • 超参数优化的元代理基准测试

    提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。

    May, 2019

  • HPO-B: 基于OpenML的黑盒超参数优化大规模可复现基准测试

    提出了一个新的基准HPO-B，该基准从OpenML存储库中组装和预处理，由176个搜索空间和196个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒HPO方法在公平和快速的比较中具有可重复性。

    Jun, 2021

  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • LassoBench: 高维度Lasso超参数优化基准测试套件

    本研究提出了新的高维参数优化方法（LassoBench），并在 Weighted Lasso 压缩感知模型上进行了评估，结果表明贝叶斯优化和进化策略可以改善目前稀疏回归的方法，同时也指出了这些框架在高维和噪声环境下的限制。

    Nov, 2021

  • 一次迭代是否足够进行多重准确性超参数优化？

    调研中发现多样性MF-HPO基准测试应包含更复杂的案例，同时建议研究人员始终使用建议的基准测试以及多样性MF-HPO方法的基准测试结果需要延长计算时间。

    Jul, 2023

  • 机器学习算法的超参数空间

    通过进行大规模的1,500个超参数与损失地形分析，研究揭示了机器学习模型中超参数和预测损失之间相互作用的关键要素，对多精度和迁移学习方法的成功提供了基础证据，并开发了专门的分析框架来促进对更广泛的AutoML任务的基本理解。

    Nov, 2023

  • 零成本基准测试下异步多保真度优化的快速基准测试

    深度学习研究中，超参数选择对结果产生重要影响，然而深度学习训练的耗时性质使得超参数优化变得昂贵，本文提供了一个用户友好的Python包，利用零成本基准测试实现了高效并行的超参数优化，通过文件系统中的信息计算返回顺序，从而消除了长时间等待，实现了比传统方法快1000倍以上的加速。

    Mar, 2024

  • 优化超参数与检验点模型权重的改进

    该论文提出了一种用于神经网络的超参数优化方法，使用已训练权重的记录检查点来引导未来的超参数选择，借助灰盒超参数优化方法，通过嵌入权重到高斯过程深度核代理模型来提高效率，并通过一个置换不变图元网络实现数据效率。

    Jun, 2024

  • FastBO：基于自适应保真度识别的快速超参数优化和神经架构搜索

    本研究解决了在超参数优化（HPO）和神经架构搜索（NAS）中，如何为每个超参数配置确定适当的保真度这一问题。提出的FastBO方法通过自适应选择配置的保真度，并利用有效点和饱和点的概念，显著提高了性能。这种自适应保真度识别策略还展示了其将任何单一保真度方法扩展到多保真度设置的通用性和适用性。

    Sep, 2024