Aug, 2023

基于同伦的超参数优化方法

PDF
TL;DR使用基于广义加法模型（GAM）替代与同伦优化结合的数据驱动方法，我们提出了一种新的超参数优化方法 HomOpt，以提高现有方法在连续、离散和分类域空间上的性能和效果，并在多个优化技术（如随机搜索、TPE、贝叶斯和 SMAC）应用 HomOpt，展示了对许多标准机器学习基准和具有挑战性的开集识别任务的改进性能。
machine learninghyperparameter optimizationalgorithmic innovationsloss landscapehomopt
发现论文，激发创造
  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • 带性能不确定性的多目标超参数优化

    本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

    Sep, 2022

  • 超参数优化：算法和应用综述

    利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

    Mar, 2020

  • 可传递的神经过程用于超参数优化

    本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

    Sep, 2019

  • 多目标问题中通过偏好学习的交互式超参数优化

    我们提出了一种以人为中心的交互式超参数优化方法，旨在从用户中提取优化指标并引导优化，通过学习比较不同帕累托前沿以选择适当的质量指标进行改进，在 ML 环境影响评估中验证了该方法的有效性。

    Sep, 2023

  • 基于进化的超带宽算法用于多目标优化

    本文介绍了一种名为 MO-DEHB 的多目标优化器，它可用于同时优化复杂不同的性能指标，包括准确性、延迟和算法公平性，并在各种任务中均有良好的表现。

    May, 2023

  • DP-HyPO：自适应私有超参数优化框架

    DP-HyPO 是一种桥接私人和非私人超参数优化方法的里程碑式框架，并提供了具有全面差分隐私分析的高效性。

    Jun, 2023

  • 基于灰盒动态优化的深度学习超参数高效优化

    介绍了一种名为 DyHPO 的灰箱超参数优化方法，它能够学习动态决定下一个尝试哪个配置和预算。通过 50 个数据集和各种神经网络的大规模实验，我们证明了 DyHPO 比最先进的超参数优化基线具有显着的优越性。

    Feb, 2022

  • 深度核替代的少样本贝叶斯优化

    该论文提出了一种基于深度核网络的深度学习模型元学习的方法来进行超参数优化的 Few-shot 学习，相比于传统的贝叶斯优化算法在多个元数据集上取得了新的最优结果。

    Jan, 2021

  • 关于评估贝叶斯优化自身超参数影响的研究

    本文研究贝叶斯优化在超参数优化中的应用，发现优化 BO 的超参数可以提高 BO 方法在各种基准测试中的的表现，优化后的 BO 调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的 BO 超参数。

    Aug, 2019