Jul, 2023

超参数调整手册：适用于 scikit-learn，PyTorch，river 和 spotPython 的指南

PDF
TL;DR本文介绍了使用 spotPython 进行超参数调整的全面指南，包括 scikit-learn、PyTorch 和 river 的应用。通过案例研究，作者展示了对 sklearn 模型（如支持向量分类、随机森林、梯度提升（XGB）和 K 最近邻（KNN））以及 river 中的 Hoeffding 自适应树回归器进行超参数调优的过程，还讨论了如何将 spotPython 集成到 PyTorch 和 PyTorch Lightning 训练工作流中。本文是一个实用的超参数调整起点，重点介绍了 Tensorboard、PyTorch Lightning、spotPython 和 river 之间的相互作用。
发现论文，激发创造
  • PyTorch 超参数调整 —— 针对 spotPython 的教程

    本文介绍了如何将 spotPython 超参数调整器集成到 PyTorch 训练工作流程中，并使用 CIFAR10 图像分类器的结果作为示例，并简要比较了 Ray Tune 和 spotPython 的优缺点。

    May, 2023

  • 机器学习算法超参数优化：理论与实践

    本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

    Jul, 2020

  • 层次协作超参数调整

    本文演示了如何利用多智能体系统开发一个分布式技术，用于确定任意集合的超参数的近似最优值，并在机器学习和全局函数优化应用中进行了研究。研究表明，在更高的维度下，所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。

    May, 2022

  • 在线机器学习中的超参数调整简化 -- spotRiverGUI

    批量机器学习在处理大量流数据时存在困难，但在线机器学习是一种解决批量机器学习限制的替代方法。river 和 spotRiver 是 Python 中的两个在线学习库，提供了分类、回归、聚类、异常检测等多种在线学习算法，并通过 spotRiverGUI 提供图形用户界面来简化用户的超参数调优过程。

    Feb, 2024

  • 调参还是不调参？一种推荐重要超参数的方法

    本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和 Adaboost 分类器是最佳选择的结论。

    Aug, 2021

  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • 强化学习中的超参数及其调整方法

    本论文旨在提高深度强化学习的可重复性，通过比较多个 HPO 工具，展示了 HPO 方法通常具有更高的性能和更低的计算开销，并提出采用从 AutoML 中建立的最佳实践，以及在广泛的搜索空间内进行原则性的 HPO。最终，论文推荐了一套适用于 RL 社区的最佳实践，以实现更强的实证结果、更少的计算成本、更好的可重复性和更快的进展。

    Jun, 2023

  • 分布式模型选择和训练研究平台 Tune

    Tune 是一个机器学习模型选择和训练的统一框架，提供训练脚本和搜索算法之间的窄腰接口，适合于多种超参数搜索算法、可以方便地扩展到大型集群并简化算法实现。

    Jul, 2018

  • 表格数据生成模型的内在机制：超参数调优的强大影响

    通过在 16 个数据集上进行全面评估，我们研究了数据集特定的超参数、特征编码和架构调整对于五个最新模型家族在表格数据生成方面的影响。我们提出了一个减少的搜索空间以便进行快速优化，实现了几乎相同性能但显著降低成本。我们的评估表明，对于大多数模型而言，大规模数据集特定调优相比原始配置极大提高了性能。此外，我们证实扩散模型在表格数据上普遍优于其他模型。然而，当所有模型的调优和训练过程都限制在相同的 GPU 预算时，这种优势并不明显。

    Jun, 2024

  • 决策树超参数调整的实证研究

    本文提供了一种全面的方法，用于研究超参数调整对 CART，C4.5 和 CTree 三种决策树归纳算法的影响。实验结果表明，超参数调整仅在三分之一的数据集中为 C4.5 和 CTree 提供了显著的改进，在大多数数据集中却为 CART 提供了显著的改进。不同的树算法可能呈现不同的调优场景，但总体而言，调优技术仅需要很少的迭代就能找到准确的解决方案。此外，所有算法的最佳技术都是 Irace。最后，我们发现调整特定的一小部分超参数对于可达到的最佳预测性能做出了最大的贡献。

    Dec, 2018