Aug, 2012

Auto-WEKA：分类算法的组合选择与超参数优化

PDF
TL;DR使用贝叶斯优化和特征选择技术，全自动选择机器学习算法和设置其超参数，在 21 个数据集的分类表现中达到了比标准选择 / 超参数优化方法更好的结果。
machine learning algorithmshyperparametersbayesian optimizationfeature selection techniquesclassification approaches
发现论文，激发创造
  • 自动梯度提升

    本文提出了一种基于梯度提升和自动超参数调整的自动机器学习框架 (autoxgboost)，与目前的 AutoML 项目进行了比较，并在 16 个数据集上取得了可比较的结果和两个最佳表现。

    Jul, 2018

  • 黑盒单目标连续优化算法自动选择使用的元特征调查

    通过对单目标连续黑箱优化领域的算法选择的关键贡献进行概述，我们介绍了在优化问题实例、算法实例及其交互的元特征表示学习方面的正在进行的工作，并研究了用于自动算法选择、配置和性能预测的机器学习模型，通过这些分析，我们发现了现有技术的不足之处，并提出了进一步发展元特征表示的思路。

    Jun, 2024

  • 机器学习算法超参数优化：理论与实践

    本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

    Jul, 2020

  • 用于集成学习的贝叶斯超参数优化

    本文提出了一种基于贝叶斯优化的机器学习集成方法，通过优化固定大小组成的集成分类器的每个分类器的超参数配置，考虑了与其他模型的交互作用来评估性能，表明该方法比最佳单个模型和标准贝叶斯优化生成的模型的贪心集成构造更好。

    May, 2016

  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • 学习 Warm-Start 贝叶斯超参数优化

    本文提出了深度度量学习用于探寻相似的数据集来作为输入神经网络的初始超参数，并通过 Bayesian 优化方法减少了超参数搜索的时间和计算量。

    Oct, 2017

  • 模型搜索科学化

    本研究提出了一种元模型方法，支持自动化超参数优化，以取代手动调试，实现易复制和公正的优化过程，并在三个不同的计算机视觉问题上获得了最新的结果。

    Sep, 2012

  • 跨数据集的超参数重要性

    通过在许多数据集上进行元学习，本文提出了一种基于元分析进行自动超参数重要性分析和先验推导的方法，并将其应用于支持向量机、随机森林和 Adaboost 算法中，得到的结果可在手动算法设计和自动超参数优化方面提供数量基础。

    Oct, 2017

  • 顺序模型基于集成优化

    本文提出了一种新的基于 SMBO 和贝叶斯学习的自动构建学习模型合集的方法，实验证明其优于传统的 SMBO 方法在回归以及分类数据集上的表现。

    Feb, 2014

  • 一种元启发式多目标交互感知特征选择方法

    本研究利用改进的 PAES 方法，采用高级概率方案以及一种新策略，较之现有的 state-of-the-art 的方法在多个真实数据集上显著提高了多目标特征选择的性能，并在探索解决方案的速度和可靠性方面取得了优异的表现。

    Nov, 2022