机器学习算法的超参数空间

Nov, 2023

On the Hyperparameter Landscapes of Machine Learning Algorithms

Mingyu Huang, Ke Li

TL;DR通过进行大规模的 1,500 个超参数与损失地形分析，研究揭示了机器学习模型中超参数和预测损失之间相互作用的关键要素，对多精度和迁移学习方法的成功提供了基础证据，并开发了专门的分析框架来促进对更广泛的 AutoML 任务的基本理解。

Abstract

Despite the recent success in a plethora of hyperparameter optimization (HPO) methods for machine learning (ML) models, the intricate interplay between model hyperparameters (HPs) and predictive losses (a.k.a fitness), which is a key prerequisite for understanding HPO, remain notably u

hyperparameter optimization fitness landscape analysis machine learning models transfer learning methods automl tasks

发现论文，激发创造

HPO：我们不会再被愚弄

论文探讨 HPO 管道对 HPO 问题的影响，通过适应性景观分析研究了 DS-2019 HPO 基准数据集，发现管道定义可能会对 HPO 景观产生负面影响，并确定了大型多样的高维超参数已经形成了一个模式，可能与大多数类预测模型相关联。

Aug, 2022

AutoRL 超参数景观

该研究提出了一种动态分析强化学习中超参数优化过程中的超参数地形特征的方法，并在实验中得到了支持，进一步说明超参数应该在训练过程中进行动态调整。

Apr, 2023

神经网络损失函数的大尺度结构

本文通过一个统一的现象学模型来解释深度神经网络优化过程中的一些令人惊讶、或者说是违反直觉的特性，其中高维度发挥了关键作用，通过将损失函数的空间看作是一系列高维楔形图的集合，揭示了优化算法收敛过程的内在规律，最终还研究了一些深度网络的集成技术。

Jun, 2019

跨传感器神经架构搜索的景观：它们有多大不同？

本文使用 Fitness Landscape Footprint 框架，对传感器数据融合和图像分类中的神经网络超参数优化问题进行研究，发现不同传感器具有类似的适应性分布，而 Sentinel-2 传感器的适应性能力更强，并且使用它进行搜索时获得更好的结果。

Jan, 2022

深度学习泛化理解：损失景观的视角

研究表明，深度神经网络模型具有很好的泛化能力，其优秀的泛化能力是来自于损失函数的加权局部最小值及其优化方法。

Jun, 2017

带性能不确定性的多目标超参数优化

本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

Sep, 2022

超参数优化：基础，算法，最佳实践和开放挑战

本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

Jul, 2021

HPO-B: 基于 OpenML 的黑盒超参数优化大规模可复现基准测试

提出了一个新的基准 HPO-B，该基准从 OpenML 存储库中组装和预处理，由 176 个搜索空间和 196 个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒 HPO 方法在公平和快速的比较中具有可重复性。

Jun, 2021

物理启发的机器学习模型可解释性

通过利用物理学中的能量景观方法，在机器学习模型中识别有意义的特征来解释模型决策，为使机器学习在医学、网络安全、自动驾驶等领域得到广泛采用提供了一种新途径。

Apr, 2023

大学习率训练的不稳定性：一个损失景观视角

该研究通过考虑具有较大学习率的网络训练过程中的海森矩阵，研究了损失函数空间，揭示了梯度下降的不稳定性，且观察到了景观平坦化和景观移位的引人注目现象，这两者与训练的不稳定性密切相关。

Jul, 2023