Oct, 2022

OptFormer 实现的自动化超参数多步优化

PDF
TL;DR本文介绍了一种基于 Transformer 的自然语言接口超参数优化方法，通过多步规划来构建非迈向型 HPO 策略。
machine learningautomated hyperparameter optimizationtransformer-basednatural-language-interfacedmulti-step planning
发现论文，激发创造
  • 利用 Transformer 实现通用超参数优化器学习

    本文介绍了 OptFormer，它是第一个基于文本的 Transformer HPO 框架，可以在从 Google 的 Vizier 数据库等多种调整数据中训练，以提供学习策略和功能预测的通用端到端接口。OptFormer 能同时模拟至少 7 种不同的 HPO 算法，可以通过其函数不确定性估计进一步改进，并学习到对超参数响应函数的强健先验分布，可以提供更准确和更好的校准预测，这项工作为训练基于 Transformer 模型作为通用 HPO 优化器的未来扩展铺平了道路。

    May, 2022

  • 可传递的神经过程用于超参数优化

    本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

    Sep, 2019

  • 超参数优化：算法和应用综述

    利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

    Mar, 2020

  • 基于同伦的超参数优化方法

    使用基于广义加法模型（GAM）替代与同伦优化结合的数据驱动方法，我们提出了一种新的超参数优化方法 HomOpt，以提高现有方法在连续、离散和分类域空间上的性能和效果，并在多个优化技术（如随机搜索、TPE、贝叶斯和 SMAC）应用 HomOpt，展示了对许多标准机器学习基准和具有挑战性的开集识别任务的改进性能。

    Aug, 2023

  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • 大型语言模型代理的超参数优化

    利用大型语言模型（LLMs）进行自动超参数优化的 AgentHPO 具有较高效率、简化设置过程、增强可解释性和用户信任度，并在性能上超越了人类试验，同时提供可解释的结果。

    Feb, 2024

  • 资源受限的物联网环境下高效的基于 Transformer 的超参数优化

    提出一种基于转换器架构和强化学习方法的新颖方法 TRL-HPO, 用于解决资源受限环境下超参数优化过程中的计算资源和透明度问题，并通过对 MNIST 数据集的评估，证明了 TRL-HPO 在相同时间段内比其他方法的卷积神经网络分类结果提高了 6.8% 的效率，同时指出全连接层堆叠是性能下降的主要原因，为改进资源受限环境下的强化学习优化过程提供了新的思路。

    Mar, 2024

  • 带性能不确定性的多目标超参数优化

    本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

    Sep, 2022

  • 服从命令：引入有序转移超参数优化

    本文提出一种有序转移超参数优化 (OTHPO) 的方法，用于超参数优化的转移学习，其中任务遵循顺序顺序。通过在共计十个样本上进行的实验表明，该方法优于现有方法，我们开源数据集以促进有关有序超参数优化的未来研究。

    Jun, 2023

  • HyperTuner: 适用于数据分析服务的跨层多目标超参数自动调整框架

    本文提出 HyperTuner 以实现跨层次多目标超参数自动调整，首先通过其 MOPIR 算法进行多目标参数重要性排名，然后利用 ADUMBO 算法找到帕累托最优配置集，在每个迭代中通过最大化一个新的设计良好的度量选择最有前途的配置。

    Apr, 2023