May, 2022

利用 Transformer 实现通用超参数优化器学习

PDF
TL;DR本文介绍了 OptFormer，它是第一个基于文本的 Transformer HPO 框架，可以在从 Google 的 Vizier 数据库等多种调整数据中训练，以提供学习策略和功能预测的通用端到端接口。OptFormer 能同时模拟至少 7 种不同的 HPO 算法，可以通过其函数不确定性估计进一步改进，并学习到对超参数响应函数的强健先验分布，可以提供更准确和更好的校准预测，这项工作为训练基于 Transformer 模型作为通用 HPO 优化器的未来扩展铺平了道路。
meta-learninghyperparameter optimizationoptformertransformerhpo
发现论文，激发创造
  • OptFormer 实现的自动化超参数多步优化

    本文介绍了一种基于 Transformer 的自然语言接口超参数优化方法，通过多步规划来构建非迈向型 HPO 策略。

    Oct, 2022

  • 资源受限的物联网环境下高效的基于 Transformer 的超参数优化

    提出一种基于转换器架构和强化学习方法的新颖方法 TRL-HPO, 用于解决资源受限环境下超参数优化过程中的计算资源和透明度问题，并通过对 MNIST 数据集的评估，证明了 TRL-HPO 在相同时间段内比其他方法的卷积神经网络分类结果提高了 6.8% 的效率，同时指出全连接层堆叠是性能下降的主要原因，为改进资源受限环境下的强化学习优化过程提供了新的思路。

    Mar, 2024

  • 多目标树结构 Parzen 估计器遇见元学习

    本文介绍了一种新的算法，通过任务相似性来加速多目标超参数优化 (MO-TPE)。研究表明该算法可在表格 HPO 基准测试中加速 MO-TPE, 同时获得了 AutoML 2022 比赛的第一名。

    Dec, 2022

  • 可传递的神经过程用于超参数优化

    本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

    Sep, 2019

  • 带性能不确定性的多目标超参数优化

    本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

    Sep, 2022

  • 深度排名集合用于超参数优化

    利用集成的神经网络元学习方法来优化超参数排序，取得了超参数优化方面的最新最优结果。

    Mar, 2023

  • 服从命令：引入有序转移超参数优化

    本文提出一种有序转移超参数优化 (OTHPO) 的方法，用于超参数优化的转移学习，其中任务遵循顺序顺序。通过在共计十个样本上进行的实验表明，该方法优于现有方法，我们开源数据集以促进有关有序超参数优化的未来研究。

    Jun, 2023

  • HyperTuner: 适用于数据分析服务的跨层多目标超参数自动调整框架

    本文提出 HyperTuner 以实现跨层次多目标超参数自动调整，首先通过其 MOPIR 算法进行多目标参数重要性排名，然后利用 ADUMBO 算法找到帕累托最优配置集，在每个迭代中通过最大化一个新的设计良好的度量选择最有前途的配置。

    Apr, 2023

  • 超参数优化：算法和应用综述

    利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

    Mar, 2020

  • 基于灰盒动态优化的深度学习超参数高效优化

    介绍了一种名为 DyHPO 的灰箱超参数优化方法，它能够学习动态决定下一个尝试哪个配置和预算。通过 50 个数据集和各种神经网络的大规模实验，我们证明了 DyHPO 比最先进的超参数优化基线具有显着的优越性。

    Feb, 2022