本研究从统计学角度 formalize 了超参数调整问题，提出了基于数据的默认值和量化超参数可调性的一般性措施，并在 OpenML 平台上基于 38 个数据集和 6 个常见机器学习算法进行了大规模基准测试。我们的研究结果提供了超参数默认值，并使用户能够决定是否值得进行耗时的调整策略，专注于最重要的超参数并选择合适的超参数空间进行调整。

Feb, 2018

本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

Jul, 2020

本文提供了一种全面的方法，用于研究超参数调整对 CART，C4.5 和 CTree 三种决策树归纳算法的影响。实验结果表明，超参数调整仅在三分之一的数据集中为 C4.5 和 CTree 提供了显著的改进，在大多数数据集中却为 CART 提供了显著的改进。不同的树算法可能呈现不同的调优场景，但总体而言，调优技术仅需要很少的迭代就能找到准确的解决方案。此外，所有算法的最佳技术都是 Irace。最后，我们发现调整特定的一小部分超参数对于可达到的最佳预测性能做出了最大的贡献。

Dec, 2018

本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和 Adaboost 分类器是最佳选择的结论。

Aug, 2021

本文演示了如何利用多智能体系统开发一个分布式技术，用于确定任意集合的超参数的近似最优值，并在机器学习和全局函数优化应用中进行了研究。研究表明，在更高的维度下，所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。

May, 2022

连续学习算法的评估方法不仅不切实际，而且不能有效地评估算法的连续学习能力，通过基于提议的协议在类增量学习方案上的实验，我们不仅观察到现有评估方法未能适当评估各个算法的连续学习能力，还观察到一些最近提出的报告表现优越的先进算法实际上与以前的算法相比表现较差。

Mar, 2024

本文提出一种名为 Out-of-sample Tuning for Structure Learning (OTSL) 的新型超参数调整方法，该方法使用样本外估计和重抽样策略来估计给定输入数据集和结构学习算法的最优超参数配置，并通过实验和实际数据集表明，使用 OTSL 调整混合和基于分数的结构学习算法的超参数可以提高图形准确性。

Jun, 2023

深度强化学习在各个领域取得了巨大的成功，本文通过算法设计和精心选择超参数的结合实现了算法的改进，重要超参数的选择对性能有很大的影响，本文通过广泛的实证研究，引入了一个新的指标来确定各种超参数的一致性和可靠性，并明确了在不同的训练模式下仍然保持一致性的调整。

Jun, 2024

通过基于方差的函数分析技术，在持续任务学习中探索了超参数选择的作用以及根据任务复杂度不断自动调整超参数的必要性，实证表明该方法可以持续地加快超参数优化速度并在不断变化的顺序任务中表现出鲁棒性，为现实应用中更高效、更稳健、更适应性强的持续学习方法做出了贡献。

Mar, 2024

通过在 16 个数据集上进行全面评估，我们研究了数据集特定的超参数、特征编码和架构调整对于五个最新模型家族在表格数据生成方面的影响。我们提出了一个减少的搜索空间以便进行快速优化，实现了几乎相同性能但显著降低成本。我们的评估表明，对于大多数模型而言，大规模数据集特定调优相比原始配置极大提高了性能。此外，我们证实扩散模型在表格数据上普遍优于其他模型。然而，当所有模型的调优和训练过程都限制在相同的 GPU 预算时，这种优势并不明显。

Jun, 2024