May, 2019

超参数优化的元代理基准测试

HTML
PDF
TL;DR提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。
发现论文，激发创造
  • 联合结构和超参数优化的表格基准测试

    为了更好地评估超参数优化方法，本文提供了一组便宜但仍然代表现实用例的基准测试，并在基准测试上对超参数优化方法进行了广泛的性能和鲁棒性比较。

    May, 2019

  • 深度核替代的少样本贝叶斯优化

    该论文提出了一种基于深度核网络的深度学习模型元学习的方法来进行超参数优化的Few-shot学习，相比于传统的贝叶斯优化算法在多个元数据集上取得了新的最优结果。

    Jan, 2021

  • HPO-B: 基于OpenML的黑盒超参数优化大规模可复现基准测试

    提出了一个新的基准HPO-B，该基准从OpenML存储库中组装和预处理，由176个搜索空间和196个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒HPO方法在公平和快速的比较中具有可重复性。

    Jun, 2021

  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • HPOBench: HPO复现性多保真性能基准问题集合

    为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了HPOBench基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自6种优化工具的13种优化器进行了大规模研究验证HPOBench的实用性。

    Sep, 2021

  • 深度排名集合用于超参数优化

    利用集成的神经网络元学习方法来优化超参数排序，取得了超参数优化方面的最新最优结果。

    Mar, 2023

  • 一次迭代是否足够进行多重准确性超参数优化？

    调研中发现多样性MF-HPO基准测试应包含更复杂的案例，同时建议研究人员始终使用建议的基准测试以及多样性MF-HPO方法的基准测试结果需要延长计算时间。

    Jul, 2023

  • 机器学习算法的超参数空间

    通过进行大规模的1,500个超参数与损失地形分析，研究揭示了机器学习模型中超参数和预测损失之间相互作用的关键要素，对多精度和迁移学习方法的成功提供了基础证据，并开发了专门的分析框架来促进对更广泛的AutoML任务的基本理解。

    Nov, 2023

  • 多目标 AutoML 的超参数重要性分析

    我们提出了第一种方法，用于评估多目标超参数优化背景下超参数的重要性。我们的方法利用基于代理模型的超参数重要性度量，即fANOVA和消融路径，以便提供关于超参数对优化目标的影响的见解。通过在不同目标与准确性相配对的广泛实证评估，即时间、人口统计学平衡和能量消耗，在多样化的基准数据集上展示了我们提出的方法的有效性和鲁棒性。我们的发现不仅为MOO任务中的超参数调整提供了有价值的指导，也有助于推进对复杂优化情景中超参数重要性的理解。

    May, 2024

  • 优化超参数与检验点模型权重的改进

    该论文提出了一种用于神经网络的超参数优化方法，使用已训练权重的记录检查点来引导未来的超参数选择，借助灰盒超参数优化方法，通过嵌入权重到高斯过程深度核代理模型来提高效率，并通过一个置换不变图元网络实现数据效率。

    Jun, 2024