本文提出了一种基于梯度提升和自动超参数调整的自动机器学习框架(autoxgboost)，与目前的AutoML项目进行了比较，并在16个数据集上取得了可比较的结果和两个最佳表现。
Jul, 2018
提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。
May, 2019
本论文将超参数优化问题建模为一系列决策问题，并用强化学习方法来解决，通过优化选择下一个待优化的超参数，从而提高模型性能。在50个数据集上的实验表明，该方法优于目前超参数学习领域的其他方法。
Jun, 2019
NGBoost是一种利用梯度提升用于概率预测的算法，可以通过考虑与目标函数相关的分布的参数并将其视为多参数提升算法的目标来泛化梯度提升以进行概率回归。它可以与任何基本学习器、任何具有连续参数的分布族以及任何得分规则一起使用，具有灵活性、可扩展性和易用性等额外优点。
Oct, 2019
本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和Adaboost分类器是最佳选择的结论。
Aug, 2021
研究表明，在大规模在线推荐系统中，采用基于代理模型的最优化算法可以通过动态切换代理模型而对海量的超参数配置进行评估来提高模型指标。
Sep, 2022
利用集成的神经网络元学习方法来优化超参数排序，取得了超参数优化方面的最新最优结果。
Mar, 2023
比较了四种梯度提升方法在一些真实数据集上的表现，着重考虑超参数优化策略，并尝试找到一种具有效果、可靠性和易用性的梯度提升算法。
May, 2023
SigOpt Mulch是一种旨在自动调整GBTs超参数的、具有模型感知能力的超参数调优系统，通过元学习和多保真度优化等技术实现模型感知型超参数的优化，减少了用户领域知识的需求，从而比现有黑盒超参数调优系统更高效、更无缝、更用户友好地实现了GBTs优秀的超参数识别。
Jul, 2023
本研究解决了超参数选择对机器学习算法性能影响的关键问题，特别是在超参数数量较多时手动搜索变得不切实际。论文提出了一种统一的超参数优化方法，总结了自动搜索技术的主要类别，并展示了前沿的研究实例和见解，旨在为未来的研究方向提供指导。
Oct, 2024