Mar, 2023

基于代理的协作随机搜索用于超参数调优和全局函数优化

PDF
TL;DR本文提出了一种基于代理的协作技术，以找到任意一组超参数（或决策变量）的近似最优值，其设计了分布式搜索操作的分层代理架构，使用基于自适应宽度的随机采样技术进行合作搜索，并在机器学习和全局函数优化应用中，通过与两种常用随机调整策略的比较得出，该模型在多维度和设备资源有限的情况下优于其他方法。
hyper-parameter optimizationmachine learning modelsblack-box optimization techniquesagent-based collaborative techniqueadaptive width-based random sampling technique
发现论文，激发创造
  • 层次协作超参数调整

    本文演示了如何利用多智能体系统开发一个分布式技术，用于确定任意集合的超参数的近似最优值，并在机器学习和全局函数优化应用中进行了研究。研究表明，在更高的维度下，所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。

    May, 2022

  • 分布式机器学习资源上的混合算法选择和超参数调优：一种基于层次代理的方法

    该研究论文提出了一种全自动、协作的基于代理机制的方法，用于选择分布式组织的机器学习算法并同时调整其超参数，以实现扩展性、灵活性和鲁棒性。通过理论评估、形式验证和分析研究，证明了该技术的正确性、资源利用和计算效率。在对 24 种算法和 9 个数据集进行实验的基础上，提供了具体示例来展示所提出的方法在不同算法选项和数据集上的有效适应性和性能表现。

    Sep, 2023

  • 黑盒函数的逐步优化

    本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。

    Jun, 2019

  • 学习 Warm-Start 贝叶斯超参数优化

    本文提出了深度度量学习用于探寻相似的数据集来作为输入神经网络的初始超参数，并通过 Bayesian 优化方法减少了超参数搜索的时间和计算量。

    Oct, 2017

  • Hyp-RL : 通过强化学习进行超参数优化

    本论文将超参数优化问题建模为一系列决策问题，并用强化学习方法来解决，通过优化选择下一个待优化的超参数，从而提高模型性能。在 50 个数据集上的实验表明，该方法优于目前超参数学习领域的其他方法。

    Jun, 2019

  • 机器学习算法的实用贝叶斯优化

    本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

    Jun, 2012

  • 迭代学习的贝叶斯优化

    本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

    Sep, 2019

  • BOHB：强大且高效的大规模超参数优化

    本文提出了一种结合贝叶斯优化和基于 Bandit 的方法的实用超参数优化方法，该方法在各种类型的问题上都优于贝叶斯优化和 Hyperband，并且具有强大的任何时候性能和快速收敛到最佳配置的优势，对高维度的玩具函数、支持向量机、前馈神经网络、贝叶斯神经网络、深度强化学习和卷积神经网络都适用。

    Jul, 2018

  • 贝叶斯优化在机器学习超参数调节方面优于随机搜索：对 2020 年黑匣子优化挑战的分析

    本文介绍了 NeurIPS 2020 的黑盒优化挑战赛结果和洞见，强调了评估无导数优化器以调整机器学习模型的超参数的重要性，并在真实数据集上基于多个标准机器学习模型的调整性能进行了排名。

    Apr, 2021

  • 通过超网络进行随机超参数优化

    该研究探讨了一种利用神经网络将模型的权重作为超参数的函数，实现对超参数和模型权重进行联合随机优化的方法，相较于传统的超参数优化方法，本方法在调整上千个超参数方面更加有效。

    Feb, 2018