Mar, 2024

零成本基准测试下异步多保真度优化的快速基准测试

PDF
TL;DR深度学习研究中，超参数选择对结果产生重要影响，然而深度学习训练的耗时性质使得超参数优化变得昂贵，本文提供了一个用户友好的 Python 包，利用零成本基准测试实现了高效并行的超参数优化，通过文件系统中的信息计算返回顺序，从而消除了长时间等待，实现了比传统方法快 1000 倍以上的加速。
发现论文，激发创造
  • 无需等待，在 HPO 基准测试中模拟多保真度优化的 Python 封装工具

    本研究开发出 Python 封装器来解决异步超参数优化（multi-fidelity optimization）中的评估顺序问题，从而加速深度学习（deep learning）的超参数调优（HP optimization），将等待时间减少到 0.01 秒，使用简单。

    May, 2023

  • 一次迭代是否足够进行多重准确性超参数优化？

    调研中发现多样性 MF-HPO 基准测试应包含更复杂的案例，同时建议研究人员始终使用建议的基准测试以及多样性 MF-HPO 方法的基准测试结果需要延长计算时间。

    Jul, 2023

  • HPO-B: 基于 OpenML 的黑盒超参数优化大规模可复现基准测试

    提出了一个新的基准 HPO-B，该基准从 OpenML 存储库中组装和预处理，由 176 个搜索空间和 196 个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒 HPO 方法在公平和快速的比较中具有可重复性。

    Jun, 2021

  • HPOBench: HPO 复现性多保真性能基准问题集合

    为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了 HPOBench 基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自 6 种优化工具的 13 种优化器进行了大规模研究验证 HPOBench 的实用性。

    Sep, 2021

  • 联合结构和超参数优化的表格基准测试

    为了更好地评估超参数优化方法，本文提供了一组便宜但仍然代表现实用例的基准测试，并在基准测试上对超参数优化方法进行了广泛的性能和鲁棒性比较。

    May, 2019

  • 超参数优化的元代理基准测试

    提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。

    May, 2019

  • 使用高性能计算和量子退火预测深度学习模型的超参数优化性能

    利用模型性能预测与提前停止方法相结合，加速深度学习模型的超参数优化过程，通过 Swift-Hyperband 算法在高性能计算环境中测试，发现它在高能物理、计算机视觉和自然语言处理等领域的各种目标模型中找到相当好的超参数，且使用较少的计算资源。

    Nov, 2023

  • 优化超参数与检验点模型权重的改进

    该论文提出了一种用于神经网络的超参数优化方法，使用已训练权重的记录检查点来引导未来的超参数选择，借助灰盒超参数优化方法，通过嵌入权重到高斯过程深度核代理模型来提高效率，并通过一个置换不变图元网络实现数据效率。

    Jun, 2024

  • 可传递的神经过程用于超参数优化

    本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

    Sep, 2019

  • 带性能不确定性的多目标超参数优化

    本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

    Sep, 2022