Feb, 2024

具有不断增大系数幅值停止准则和元学习器的正则化提升优化叠加模型

PDF
TL;DR本研究探讨了超参数优化中的堆叠集成元学习器，它无需超参数调整，能够减少多重共线性效应，并考虑了集成学习过程的泛化能力。其中，增强策略作为堆叠元学习器显示出很大的潜力，并且完全消除了多重共线性的影响。本文提出了经典增强方法中的隐式正则化和一种新的非参数停止准则，仅适用于增强策略，并专门为超参数优化而设计。这两个增强方法的协同作用与其他现有的堆叠元学习和集成方法相比，显示出有竞争力和有希望的预测性能。
hyperparameter optimizationensemble strategiescaruana methodstacking ensembleboosting strategy
发现论文，激发创造
  • 深度排名集合用于超参数优化

    利用集成的神经网络元学习方法来优化超参数排序，取得了超参数优化方面的最新最优结果。

    Mar, 2023

  • 多目标树结构 Parzen 估计器遇见元学习

    本文介绍了一种新的算法，通过任务相似性来加速多目标超参数优化 (MO-TPE)。研究表明该算法可在表格 HPO 基准测试中加速 MO-TPE, 同时获得了 AutoML 2022 比赛的第一名。

    Dec, 2022

  • 带性能不确定性的多目标超参数优化

    本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

    Sep, 2022

  • 连续学习中的超参数选择

    对多任务连续学习问题中的超参数优化提供了多种真实可行且计算效率高的方法，并建议在第一个任务中对超参数进行拟合，并在后续训练中固定它们。

    Apr, 2024

  • HPO 对 AutoML 预测集成的影响

    探索在深度学习模型中添加不同超参数优化策略的效果，发现该方法与组合学习可以优于商业 AutoML 预测解决方案，并提供更高的准确性和更低的集成延迟。

    Nov, 2023

  • 用于集成学习的贝叶斯超参数优化

    本文提出了一种基于贝叶斯优化的机器学习集成方法，通过优化固定大小组成的集成分类器的每个分类器的超参数配置，考虑了与其他模型的交互作用来评估性能，表明该方法比最佳单个模型和标准贝叶斯优化生成的模型的贪心集成构造更好。

    May, 2016

  • 多目标问题中通过偏好学习的交互式超参数优化

    我们提出了一种以人为中心的交互式超参数优化方法，旨在从用户中提取优化指标并引导优化，通过学习比较不同帕累托前沿以选择适当的质量指标进行改进，在 ML 环境影响评估中验证了该方法的有效性。

    Sep, 2023

  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • 超参数优化的元代理基准测试

    提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。

    May, 2019

  • HPO：我们不会再被愚弄

    论文探讨 HPO 管道对 HPO 问题的影响，通过适应性景观分析研究了 DS-2019 HPO 基准数据集，发现管道定义可能会对 HPO 景观产生负面影响，并确定了大型多样的高维超参数已经形成了一个模式，可能与大多数类预测模型相关联。

    Aug, 2022