Jun, 2022

基于迁移学习的超参数调优搜索空间设计

PDF
TL;DR本论文提出了一种自动化的基于先前任务调优历史知识的方法，通过传递学习能力将现有的贝叶斯优化方法能够具有迁移学习的能力。同时，作者通过精简搜索空间设计的方法有效地提高了基于机器学习和深度学习，包括神经架构搜索等任务的效能，并在各种基准测试中优于现有技术。
bayesian optimizationhyperparameterstransfer learningautomated search space designdeep learning
发现论文，激发创造
  • 学习搜索空间以进行贝叶斯优化：超参数迁移学习的另一种视角

    本文提出一种自动设计 BO 搜索空间的方法，通过以前黑盒函数的评估结果，学习搜索空间几何形态，使传统的 BO 方法具有迁移学习属性，加速了各种黑盒优化问题的优化过程，结合随机搜索实现了无参数、易于实现、鲁棒的超参数优化策略。

    Sep, 2019

  • 贝叶斯优化的迁移学习：综述

    该研究论文介绍基于贝叶斯优化的迁移学习方法，从初始点设计、搜索空间设计、代理模型和获取函数等四个方面总结其方法论和技术细节。同时，论文彰显了该方法在广泛应用中的优点，并提出了未来的研究方向。

    Feb, 2023

  • 异构搜索空间上的贝叶斯优化的迁移学习

    本论文介绍了一种在异构领域中进行模型预训练的方法 MPHD，该方法使用神经网络映射将领域特定上下文映射到层级高斯过程的规范，以便与 BO 集成以在异构搜索空间中进行知识转移，并通过理论和实证结果证明了 MPHD 的有效性和优越的黑盒函数优化性能。

    Sep, 2023

  • 贝叶斯优化的实用迁移学习

    本研究开发一种新的无超参数的集成模型来实现机器学习中的贝叶斯优化，并证明了与传统方法相比，该模型可以有效降低超参数优化时间并实现迁移学习。

    Feb, 2018

  • 迭代学习的贝叶斯优化

    本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

    Sep, 2019

  • 关于评估贝叶斯优化自身超参数影响的研究

    本文研究贝叶斯优化在超参数优化中的应用，发现优化 BO 的超参数可以提高 BO 方法在各种基准测试中的的表现，优化后的 BO 调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的 BO 超参数。

    Aug, 2019

  • 机器学习算法的实用贝叶斯优化

    本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

    Jun, 2012

  • 可传递的神经过程用于超参数优化

    本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

    Sep, 2019

  • 基于贝叶斯优化和最优传输的神经网络自动架构搜索

    本文提出了一种名为 NASBOT 的基于高斯过程的 BO 框架，用于神经结构搜索，通过计算神经网络结构空间中的距离度量，取得了比其他替代方法更好的性能，在多层感知器和卷积神经网络的交叉验证模型选择任务中得到了证实。

    Feb, 2018

  • 贝叶斯优化在机器学习超参数调节方面优于随机搜索：对 2020 年黑匣子优化挑战的分析

    本文介绍了 NeurIPS 2020 的黑盒优化挑战赛结果和洞见，强调了评估无导数优化器以调整机器学习模型的超参数的重要性，并在真实数据集上基于多个标准机器学习模型的调整性能进行了排名。

    Apr, 2021