Jul, 2021

超参数优化：基础，算法，最佳实践和开放挑战

HTML
PDF
TL;DR本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。
发现论文，激发创造
  • 超参数优化的元代理基准测试

    提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。

    May, 2019

  • 关于评估贝叶斯优化自身超参数影响的研究

    本文研究贝叶斯优化在超参数优化中的应用，发现优化BO的超参数可以提高BO方法在各种基准测试中的的表现，优化后的BO调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的BO超参数。

    Aug, 2019

  • 可传递的神经过程用于超参数优化

    本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的OpenML数据集和三个计算机视觉数据集上实现了前沿性能。

    Sep, 2019

  • 超参数优化: 算法和应用综述

    利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

    Mar, 2020

  • HPO-B: 基于OpenML的黑盒超参数优化大规模可复现基准测试

    提出了一个新的基准HPO-B，该基准从OpenML存储库中组装和预处理，由176个搜索空间和196个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒HPO方法在公平和快速的比较中具有可重复性。

    Jun, 2021

  • HPOBench: HPO复现性多保真性能基准问题集合

    为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了HPOBench基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自6种优化工具的13种优化器进行了大规模研究验证HPOBench的实用性。

    Sep, 2021

  • HPO：我们不会再被愚弄

    论文探讨HPO管道对HPO问题的影响，通过适应性景观分析研究了DS-2019 HPO基准数据集，发现管道定义可能会对HPO景观产生负面影响，并确定了大型多样的高维超参数已经形成了一个模式，可能与大多数类预测模型相关联。

    Aug, 2022

  • 带性能不确定性的多目标超参数优化

    本文介绍了一种使用Tree-structured Parzen Estimators采样策略和训练带异质噪声的Gaussian Process Regression元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

    Sep, 2022

  • 多目标问题中通过偏好学习的交互式超参数优化

    我们提出了一种以人为中心的交互式超参数优化方法，旨在从用户中提取优化指标并引导优化，通过学习比较不同帕累托前沿以选择适当的质量指标进行改进，在ML环境影响评估中验证了该方法的有效性。

    Sep, 2023

  • 优化超参数与检验点模型权重的改进

    该论文提出了一种用于神经网络的超参数优化方法，使用已训练权重的记录检查点来引导未来的超参数选择，借助灰盒超参数优化方法，通过嵌入权重到高斯过程深度核代理模型来提高效率，并通过一个置换不变图元网络实现数据效率。

    Jun, 2024