HPO 对 AutoML 预测集成的影响

Nov, 2023

Impact of HPO on AutoML Forecasting Ensembles

David Hoffmann

TL;DR探索在深度学习模型中添加不同超参数优化策略的效果，发现该方法与组合学习可以优于商业 AutoML 预测解决方案，并提供更高的准确性和更低的集成延迟。

Abstract

A forecasting ensemble consisting of a diverse range of estimators for both local and global univariate forecasting, in particular MQ-CNN,DeepAR, Prophet, NPTS, ARIMA and ETS, can be used to make forecasts for a variety of problems. This paper delves into the aspect of adding different

forecasting ensemble hyperparameter optimization deep learning models ensemble learning automl forecasting

发现论文，激发创造

深度排名集合用于超参数优化

利用集成的神经网络元学习方法来优化超参数排序，取得了超参数优化方面的最新最优结果。

Mar, 2023

使用高性能计算和量子退火预测深度学习模型的超参数优化性能

利用模型性能预测与提前停止方法相结合，加速深度学习模型的超参数优化过程，通过 Swift-Hyperband 算法在高性能计算环境中测试，发现它在高能物理、计算机视觉和自然语言处理等领域的各种目标模型中找到相当好的超参数，且使用较少的计算资源。

Nov, 2023

带性能不确定性的多目标超参数优化

本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

Sep, 2022

多目标树结构 Parzen 估计器遇见元学习

本文介绍了一种新的算法，通过任务相似性来加速多目标超参数优化 (MO-TPE)。研究表明该算法可在表格 HPO 基准测试中加速 MO-TPE, 同时获得了 AutoML 2022 比赛的第一名。

Dec, 2022

超参数优化：算法和应用综述

利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

Mar, 2020

超参数优化：基础，算法，最佳实践和开放挑战

本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

Jul, 2021

朝着为可持续发展的深度学习效能化：在深度转换神经网络上采用多目标超参数优化方法

深度学习已经通过从大规模数据集中提取复杂模式推动了各个领域的发展。本研究关注于利用自动机器学习技术充分发挥深度位移神经网络的潜力，并通过超参数优化来提高性能并降低资源消耗，实现多目标优化和多保真度。实验结果表明，我们的方法有效，能够获得 80% 以上的准确率并具有较低的计算成本，加速了高效模型开发并支持可持续的人工智能应用。

Apr, 2024

关于评估贝叶斯优化自身超参数影响的研究

本文研究贝叶斯优化在超参数优化中的应用，发现优化 BO 的超参数可以提高 BO 方法在各种基准测试中的的表现，优化后的 BO 调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的 BO 超参数。

Aug, 2019

优化超参数与检验点模型权重的改进

该论文提出了一种用于神经网络的超参数优化方法，使用已训练权重的记录检查点来引导未来的超参数选择，借助灰盒超参数优化方法，通过嵌入权重到高斯过程深度核代理模型来提高效率，并通过一个置换不变图元网络实现数据效率。

Jun, 2024

深度核替代的少样本贝叶斯优化

该论文提出了一种基于深度核网络的深度学习模型元学习的方法来进行超参数优化的 Few-shot 学习，相比于传统的贝叶斯优化算法在多个元数据集上取得了新的最优结果。

Jan, 2021