May, 2022

利用Transformer实现通用超参数优化器学习

HTML
PDF
TL;DR本文介绍了OptFormer，它是第一个基于文本的Transformer HPO框架，可以在从Google的Vizier数据库等多种调整数据中训练，以提供学习策略和功能预测的通用端到端接口。OptFormer能同时模拟至少7种不同的HPO算法，可以通过其函数不确定性估计进一步改进，并学习到对超参数响应函数的强健先验分布，可以提供更准确和更好的校准预测，这项工作为训练基于Transformer模型作为通用HPO优化器的未来扩展铺平了道路。
发现论文，激发创造
  • 超参数优化的元代理基准测试

    提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。

    May, 2019

  • 关于评估贝叶斯优化自身超参数影响的研究

    本文研究贝叶斯优化在超参数优化中的应用，发现优化BO的超参数可以提高BO方法在各种基准测试中的的表现，优化后的BO调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的BO超参数。

    Aug, 2019

  • 超参数优化: 算法和应用综述

    利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

    Mar, 2020

  • 用于超参数优化的CMA-ES热启动

    通过任务相似度的定义，将先前任务的经验直接迁移到初始化过的方法CMA-ES中，从而提高了它在具有相似任务的超参数优化中的表现。

    Dec, 2020

  • HPO-B: 基于OpenML的黑盒超参数优化大规模可复现基准测试

    提出了一个新的基准HPO-B，该基准从OpenML存储库中组装和预处理，由176个搜索空间和196个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒HPO方法在公平和快速的比较中具有可重复性。

    Jun, 2021

  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • OptFormer实现的自动化超参数多步优化

    本文介绍了一种基于Transformer的自然语言接口超参数优化方法，通过多步规划来构建非迈向型HPO策略。

    Oct, 2022

  • 深度排名集合用于超参数优化

    利用集成的神经网络元学习方法来优化超参数排序，取得了超参数优化方面的最新最优结果。

    Mar, 2023

  • 使用符合量化回归优化超参数

    本文提出了一种利用基于置信度的分位数回归的超参数优化算法，相较于传统高斯过程模型，它能够更加真实和鲁棒地建模目标函数，加速超参数优化过程，并在多保真度场景下比传统方法表现更好。

    May, 2023

  • 多目标问题中通过偏好学习的交互式超参数优化

    我们提出了一种以人为中心的交互式超参数优化方法，旨在从用户中提取优化指标并引导优化，通过学习比较不同帕累托前沿以选择适当的质量指标进行改进，在ML环境影响评估中验证了该方法的有效性。

    Sep, 2023