通过在许多数据集上进行元学习，本文提出了一种基于元分析进行自动超参数重要性分析和先验推导的方法，并将其应用于支持向量机、随机森林和 Adaboost 算法中，得到的结果可在手动算法设计和自动超参数优化方面提供数量基础。

Oct, 2017

该论文提出了一种自动化的并行无导数优化框架——Autotune，它结合了多种专业的采样和搜索方法，可有效地调整机器学习模型的超参数，从而提高模型质量和训练效率，并通过并行计算和分布式训练优化算法的资源性能。

Apr, 2018

Tune是一个机器学习模型选择和训练的统一框架，提供训练脚本和搜索算法之间的窄腰接口，适合于多种超参数搜索算法、可以方便地扩展到大型集群并简化算法实现。

Jul, 2018

本文提供了一种全面的方法，用于研究超参数调整对CART，C4.5和CTree三种决策树归纳算法的影响。实验结果表明，超参数调整仅在三分之一的数据集中为C4.5和CTree提供了显著的改进，在大多数数据集中却为CART提供了显著的改进。不同的树算法可能呈现不同的调优场景，但总体而言，调优技术仅需要很少的迭代就能找到准确的解决方案。此外，所有算法的最佳技术都是Irace。最后，我们发现调整特定的一小部分超参数对于可达到的最佳预测性能做出了最大的贡献。

Dec, 2018

本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

Jul, 2020

比较了四种梯度提升方法在一些真实数据集上的表现，着重考虑超参数优化策略，并尝试找到一种具有效果、可靠性和易用性的梯度提升算法。

May, 2023

本文提出了一种名为“CARBS”的贝叶斯优化算法，通过在性能成本 Pareto 前沿周围进行本地搜索，解决了大规模深度学习模型参数调优的难题，并自动化了调优的“黑魔法”，可以适用于任何深度学习问题，并发现了发现各种超参数的标度律，使得调优更加高效。

Jun, 2023

SigOpt Mulch是一种旨在自动调整GBTs超参数的、具有模型感知能力的超参数调优系统，通过元学习和多保真度优化等技术实现模型感知型超参数的优化，减少了用户领域知识的需求，从而比现有黑盒超参数调优系统更高效、更无缝、更用户友好地实现了GBTs优秀的超参数识别。

Jul, 2023

本研究针对超参数优化的复杂性，探讨了平衡偏差和方差的挑战。通过实证分析，评估了三种超参数调优算法，发现非线性模型在适当调优的情况下显著优于线性模型。研究表明，不同算法在各任务和模型类型下表现各异，因此选择合适的调优方法至关重要。

Aug, 2024

本研究解决了超参数选择对机器学习算法性能影响的关键问题，特别是在超参数数量较多时手动搜索变得不切实际。论文提出了一种统一的超参数优化方法，总结了自动搜索技术的主要类别，并展示了前沿的研究实例和见解，旨在为未来的研究方向提供指导。

Oct, 2024