IJCAIAug, 2019

关于评估贝叶斯优化自身超参数影响的研究

PDF
TL;DR本文研究贝叶斯优化在超参数优化中的应用，发现优化 BO 的超参数可以提高 BO 方法在各种基准测试中的的表现，优化后的 BO 调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的 BO 超参数。
发现论文，激发创造
  • 迭代学习的贝叶斯优化

    本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

    Sep, 2019

  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • 基于迁移学习的超参数调优搜索空间设计

    本论文提出了一种自动化的基于先前任务调优历史知识的方法，通过传递学习能力将现有的贝叶斯优化方法能够具有迁移学习的能力。同时，作者通过精简搜索空间设计的方法有效地提高了基于机器学习和深度学习，包括神经架构搜索等任务的效能，并在各种基准测试中优于现有技术。

    Jun, 2022

  • 学习搜索空间以进行贝叶斯优化：超参数迁移学习的另一种视角

    本文提出一种自动设计 BO 搜索空间的方法，通过以前黑盒函数的评估结果，学习搜索空间几何形态，使传统的 BO 方法具有迁移学习属性，加速了各种黑盒优化问题的优化过程，结合随机搜索实现了无参数、易于实现、鲁棒的超参数优化策略。

    Sep, 2019

  • 可传递的神经过程用于超参数优化

    本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

    Sep, 2019

  • 具有无偏高斯过程超参数估计的可证明高效的贝叶斯优化

    本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。

    Jun, 2023

  • 超参数优化：算法和应用综述

    利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

    Mar, 2020

  • 贝叶斯优化在机器学习超参数调节方面优于随机搜索：对 2020 年黑匣子优化挑战的分析

    本文介绍了 NeurIPS 2020 的黑盒优化挑战赛结果和洞见，强调了评估无导数优化器以调整机器学习模型的超参数的重要性，并在真实数据集上基于多个标准机器学习模型的调整性能进行了排名。

    Apr, 2021

  • 贝叶斯优化的实用迁移学习

    本研究开发一种新的无超参数的集成模型来实现机器学习中的贝叶斯优化，并证明了与传统方法相比，该模型可以有效降低超参数优化时间并实现迁移学习。

    Feb, 2018

  • 机器学习算法的实用贝叶斯优化

    本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

    Jun, 2012