Dec, 2022

多目标树结构 Parzen 估计器遇见元学习

PDF
TL;DR本文介绍了一种新的算法，通过任务相似性来加速多目标超参数优化 (MO-TPE)。研究表明该算法可在表格 HPO 基准测试中加速 MO-TPE, 同时获得了 AutoML 2022 比赛的第一名。
hyperparameter optimizationmulti-objective optimizationmo tree-structured parzen estimatormeta-learningautoml
发现论文，激发创造
  • 带性能不确定性的多目标超参数优化

    本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

    Sep, 2022

  • 多目标问题中通过偏好学习的交互式超参数优化

    我们提出了一种以人为中心的交互式超参数优化方法，旨在从用户中提取优化指标并引导优化，通过学习比较不同帕累托前沿以选择适当的质量指标进行改进，在 ML 环境影响评估中验证了该方法的有效性。

    Sep, 2023

  • 基于进化的超带宽算法用于多目标优化

    本文介绍了一种名为 MO-DEHB 的多目标优化器，它可用于同时优化复杂不同的性能指标，包括准确性、延迟和算法公平性，并在各种任务中均有良好的表现。

    May, 2023

  • c-TPE: 带不等式约束的树状 Parzen 估计器在连续和分类超参数优化中的泛化

    本研究介绍了一种扩展的 TPE 算法（c-TPE）来进行受约束的深度学习超参数优化，该方法通过 AF 的简单分解具有鲁棒性，对分类参数的搜索空间进行了 81 次实验，表现出了最佳平均排名表现。

    Nov, 2022

  • 超参数优化的元代理基准测试

    提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。

    May, 2019

  • HyperTuner: 适用于数据分析服务的跨层多目标超参数自动调整框架

    本文提出 HyperTuner 以实现跨层次多目标超参数自动调整，首先通过其 MOPIR 算法进行多目标参数重要性排名，然后利用 ADUMBO 算法找到帕累托最优配置集，在每个迭代中通过最大化一个新的设计良好的度量选择最有前途的配置。

    Apr, 2023

  • 可传递的神经过程用于超参数优化

    本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

    Sep, 2019

  • 基于同伦的超参数优化方法

    使用基于广义加法模型（GAM）替代与同伦优化结合的数据驱动方法，我们提出了一种新的超参数优化方法 HomOpt，以提高现有方法在连续、离散和分类域空间上的性能和效果，并在多个优化技术（如随机搜索、TPE、贝叶斯和 SMAC）应用 HomOpt，展示了对许多标准机器学习基准和具有挑战性的开集识别任务的改进性能。

    Aug, 2023

  • 深度排名集合用于超参数优化

    利用集成的神经网络元学习方法来优化超参数排序，取得了超参数优化方面的最新最优结果。

    Mar, 2023

  • 超参数优化：算法和应用综述

    利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

    Mar, 2020