Jul, 2023

一次迭代是否足够进行多重准确性超参数优化？

PDF
TL;DR调研中发现多样性 MF-HPO 基准测试应包含更复杂的案例，同时建议研究人员始终使用建议的基准测试以及多样性 MF-HPO 方法的基准测试结果需要延长计算时间。
hyperparameter optimizationmulti-fidelity hpolearning curvesbenchmark datacomputation
发现论文，激发创造
  • 零成本基准测试下异步多保真度优化的快速基准测试

    深度学习研究中，超参数选择对结果产生重要影响，然而深度学习训练的耗时性质使得超参数优化变得昂贵，本文提供了一个用户友好的 Python 包，利用零成本基准测试实现了高效并行的超参数优化，通过文件系统中的信息计算返回顺序，从而消除了长时间等待，实现了比传统方法快 1000 倍以上的加速。

    Mar, 2024

  • 带性能不确定性的多目标超参数优化

    本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

    Sep, 2022

  • HPOBench: HPO 复现性多保真性能基准问题集合

    为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了 HPOBench 基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自 6 种优化工具的 13 种优化器进行了大规模研究验证 HPOBench 的实用性。

    Sep, 2021

  • 神经网络超参数优化中的提前弃用一轮高效方法

    通过研究一些常用的丢弃技术，如 successive halving 和 learning curve extrapolation，我们发现这些技术与使用常数数量的轮次进行训练后的丢弃策略相比，几乎没有添加价值。我们称之为 i-Epoch 的方法并建议通过比较他们的 Pareto-Front（消耗的培训轮次和预测性能）来评估早期丢弃技术的质量。

    Apr, 2024

  • 优化超参数与检验点模型权重的改进

    该论文提出了一种用于神经网络的超参数优化方法，使用已训练权重的记录检查点来引导未来的超参数选择，借助灰盒超参数优化方法，通过嵌入权重到高斯过程深度核代理模型来提高效率，并通过一个置换不变图元网络实现数据效率。

    Jun, 2024

  • 超参数优化的元代理基准测试

    提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。

    May, 2019

  • 从小做起，追求卓越：对大规模知识图谱嵌入的超参数优化

    本论文讨论知识图谱嵌入模型的超参数优化方法，提出了一种高效的多保真度算法 GraSH，并在大规模知识图谱上实现了最新的成果。

    Jul, 2022

  • HPO-B: 基于 OpenML 的黑盒超参数优化大规模可复现基准测试

    提出了一个新的基准 HPO-B，该基准从 OpenML 存储库中组装和预处理，由 176 个搜索空间和 196 个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒 HPO 方法在公平和快速的比较中具有可重复性。

    Jun, 2021

  • 多目标树结构 Parzen 估计器遇见元学习

    本文介绍了一种新的算法，通过任务相似性来加速多目标超参数优化 (MO-TPE)。研究表明该算法可在表格 HPO 基准测试中加速 MO-TPE, 同时获得了 AutoML 2022 比赛的第一名。

    Dec, 2022

  • HPO：我们不会再被愚弄

    论文探讨 HPO 管道对 HPO 问题的影响，通过适应性景观分析研究了 DS-2019 HPO 基准数据集，发现管道定义可能会对 HPO 景观产生负面影响，并确定了大型多样的高维超参数已经形成了一个模式，可能与大多数类预测模型相关联。

    Aug, 2022