使用高性能计算和量子退火预测深度学习模型的超参数优化性能

Nov, 2023

使用高性能计算和量子退火预测深度学习模型的超参数优化性能

Model Performance Prediction for Hyperparameter Optimization of Deep Learning Models Using High Performance Computing and Quantum Annealing

PDF

Juan Pablo García Amboage, Eric Wulff, Maria Girone, Tomás F. Pena

TL;DR利用模型性能预测与提前停止方法相结合，加速深度学习模型的超参数优化过程，通过 Swift-Hyperband 算法在高性能计算环境中测试，发现它在高能物理、计算机视觉和自然语言处理等领域的各种目标模型中找到相当好的超参数，且使用较少的计算资源。

Abstract

hyperparameter optimization (HPO) of deep learning-based models tends to be a compute resource intensive process as it usually requires to train the target model with many different hyperparameter configurations.

hyperparameter optimization deep learning model performance prediction swift-hyperband high performance computing

发现论文，激发创造

量子神经网络的超参数优化

通过比较不同配置，我们对量子机器学习模型的性能进行了研究，提供了性能数据和超参数选择的具体建议。

Mar, 2024

超参数优化：算法和应用综述

利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

Mar, 2020

利用性能预测加速神经架构搜索

本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法，并证明该方法在视觉分类和语言建模领域中是有效的。同时，我们提出了一种早期停止方法，可用于超参数优化和元模建模，加速了模型配置的优化过程，该方法在强化学习 - based 架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。

May, 2017

可传递的神经过程用于超参数优化

本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

Sep, 2019

超参数优化：基础，算法，最佳实践和开放挑战

本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

Jul, 2021

HPO 对 AutoML 预测集成的影响

探索在深度学习模型中添加不同超参数优化策略的效果，发现该方法与组合学习可以优于商业 AutoML 预测解决方案，并提供更高的准确性和更低的集成延迟。

Nov, 2023

带性能不确定性的多目标超参数优化

本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

Sep, 2022

优化超参数与检验点模型权重的改进

该论文提出了一种用于神经网络的超参数优化方法，使用已训练权重的记录检查点来引导未来的超参数选择，借助灰盒超参数优化方法，通过嵌入权重到高斯过程深度核代理模型来提高效率，并通过一个置换不变图元网络实现数据效率。

Jun, 2024

迭代加深超带

本文提出了超频参数 Hyperband 的增量变体，以消除选择过小的大预算所引起的昂贵成本和有价值已积累知识的流失问题，并在基准数据集实验中展示了它们的实用性和理论保证的类似性。

Feb, 2023

深度核替代的少样本贝叶斯优化

该论文提出了一种基于深度核网络的深度学习模型元学习的方法来进行超参数优化的 Few-shot 学习，相比于传统的贝叶斯优化算法在多个元数据集上取得了新的最优结果。

Jan, 2021