本文介绍了使用 spotPython 进行超参数调整的全面指南，包括 scikit-learn、PyTorch 和 river 的应用。通过案例研究，作者展示了对 sklearn 模型（如支持向量分类、随机森林、梯度提升（XGB）和 K 最近邻（KNN））以及 river 中的 Hoeffding 自适应树回归器进行超参数调优的过程，还讨论了如何将 spotPython 集成到 PyTorch 和 PyTorch Lightning 训练工作流中。本文是一个实用的超参数调整起点，重点介绍了 Tensorboard、PyTorch Lightning、spotPython 和 river 之间的相互作用。

Jul, 2023

本文提出 HyperTuner 以实现跨层次多目标超参数自动调整，首先通过其 MOPIR 算法进行多目标参数重要性排名，然后利用 ADUMBO 算法找到帕累托最优配置集，在每个迭代中通过最大化一个新的设计良好的度量选择最有前途的配置。

Apr, 2023

该论文提出了一种自动化的并行无导数优化框架 ——Autotune，它结合了多种专业的采样和搜索方法，可有效地调整机器学习模型的超参数，从而提高模型质量和训练效率，并通过并行计算和分布式训练优化算法的资源性能。

Apr, 2018

本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

Jul, 2020

Tune 是一个机器学习模型选择和训练的统一框架，提供训练脚本和搜索算法之间的窄腰接口，适合于多种超参数搜索算法、可以方便地扩展到大型集群并简化算法实现。

Jul, 2018

DP-HyPO 是一种桥接私人和非私人超参数优化方法的里程碑式框架，并提供了具有全面差分隐私分析的高效性。

Jun, 2023

通过存储参数在系统的指定端口上并允许动态调整，我们提出了一个新的框架 LiveTune，允许在训练过程中实时调整参数，从而提供持续的训练会话。通过对我们的框架进行广泛评估，我们发现每次超参数改变可以节省高达 60 秒和 5.4 千焦的能量。

Nov, 2023

本文演示了如何利用多智能体系统开发一个分布式技术，用于确定任意集合的超参数的近似最优值，并在机器学习和全局函数优化应用中进行了研究。研究表明，在更高的维度下，所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。

May, 2022

本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和 Adaboost 分类器是最佳选择的结论。

Aug, 2021

本文提出了一种使用深度强化学习来自动调整像素区域参数，以解决图像处理中优化的问题，实验表明，该方法可以让调优后的重建 CT 图像质量达到手动调整的水平甚至更好。

Nov, 2017