May, 2024

基于轨迹的多目标模型重训练超参数优化

PDF
TL;DR本研究提出了一种基于轨迹的多目标贝叶斯优化算法，通过考虑训练轮次作为附加决策变量，充分利用迭代学习过程中的轨迹信息来提升多目标超参数优化问题的性能。实验证明，该算法在寻找更好的权衡和提高调优效率方面优于现有的多目标优化器。
发现论文，激发创造
  • 带性能不确定性的多目标超参数优化

    本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

    Sep, 2022

  • 迭代学习的贝叶斯优化

    本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

    Sep, 2019

  • 并行多目标超参数优化的均匀归一化与有界目标

    机器学习模型的超参数优化是一个具有多目标的挑战性问题，本研究提出了一种多目标贝叶斯优化算法，通过统一目标规范化和随机化权重在标量化中解决了不同目标尺度的问题，并通过限制目标来提高算法效率，最后通过并行化加速了优化过程。

    Sep, 2023

  • 超参数调整的实用多保真贝叶斯优化

    本篇论文提出了一种基于知识梯度的多保真度贝叶斯优化方法，能在深度神经网络和大规模核学习的超参数调整方面表现优异，并有效解决了验证误差的计算问题。

    Mar, 2019

  • 贝叶斯优化的实用迁移学习

    本研究开发一种新的无超参数的集成模型来实现机器学习中的贝叶斯优化，并证明了与传统方法相比，该模型可以有效降低超参数优化时间并实现迁移学习。

    Feb, 2018

  • 基于多目标的深度学习参数优化调查

    本研究探讨了多目标优化策略与深度神经网络结合的有效性，通过案例研究证明了该方法在多种应用程序中生成预测和分析方面具有价值。

    May, 2023

  • 一个配置支配全局？使用多目标贝叶斯优化实现主题模型中的超参数传递

    本文探讨了使用多目标超参数优化方法，优化三种知名主题模型时需要考虑到主题连贯性和多样性这两种冲突的目标，并且发现选择超参数时，训练语料库的特征至关重要，表明可以在数据集间传输最优的超参数配置。

    Feb, 2022

  • 成本敏感的多层次贝叶斯优化及学习曲线外推的迁移

    本文研究了基于成本敏感的多保真贝叶斯优化算法用于高效的超参数优化问题，引入了用户预定义的效用函数来描述成本和性能之间的权衡，并提出了一种新的获取函数和停止准则以动态选择每个步骤的最佳配置，并最大程度地提高未来效用，同时自动终止优化过程，通过转移学习提高学习曲线外推方法的样本效率，能够捕捉不同配置之间的相关性，为多保真贝叶斯优化提供合理的代理函数，并在各种学习曲线数据集上验证算法，优于现有基线方法，实现更好的成本和性能的权衡。

    May, 2024

  • 学习 Warm-Start 贝叶斯超参数优化

    本文提出了深度度量学习用于探寻相似的数据集来作为输入神经网络的初始超参数，并通过 Bayesian 优化方法减少了超参数搜索的时间和计算量。

    Oct, 2017

  • 多目标树结构 Parzen 估计器遇见元学习

    本文介绍了一种新的算法，通过任务相似性来加速多目标超参数优化 (MO-TPE)。研究表明该算法可在表格 HPO 基准测试中加速 MO-TPE, 同时获得了 AutoML 2022 比赛的第一名。

    Dec, 2022