使用符合量化回归优化超参数
提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。
May, 2019
本研究提出了一种基于梯度提升的代理模型，并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计，同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明，该方法能够在一系列分类问题中优于一些最新的技术。
Jan, 2021
本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。
Jul, 2021
为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了HPOBench基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自6种优化工具的13种优化器进行了大规模研究验证HPOBench的实用性。
Sep, 2021
本文介绍了OptFormer，它是第一个基于文本的Transformer HPO框架，可以在从Google的Vizier数据库等多种调整数据中训练，以提供学习策略和功能预测的通用端到端接口。OptFormer能同时模拟至少7种不同的HPO算法，可以通过其函数不确定性估计进一步改进，并学习到对超参数响应函数的强健先验分布，可以提供更准确和更好的校准预测，这项工作为训练基于Transformer模型作为通用HPO优化器的未来扩展铺平了道路。
May, 2022
调研中发现多样性MF-HPO基准测试应包含更复杂的案例，同时建议研究人员始终使用建议的基准测试以及多样性MF-HPO方法的基准测试结果需要延长计算时间。
Jul, 2023
通过进行大规模的1,500个超参数与损失地形分析，研究揭示了机器学习模型中超参数和预测损失之间相互作用的关键要素，对多精度和迁移学习方法的成功提供了基础证据，并开发了专门的分析框架来促进对更广泛的AutoML任务的基本理解。
Nov, 2023
我们提出了第一种方法，用于评估多目标超参数优化背景下超参数的重要性。我们的方法利用基于代理模型的超参数重要性度量，即fANOVA和消融路径，以便提供关于超参数对优化目标的影响的见解。通过在不同目标与准确性相配对的广泛实证评估，即时间、人口统计学平衡和能量消耗，在多样化的基准数据集上展示了我们提出的方法的有效性和鲁棒性。我们的发现不仅为MOO任务中的超参数调整提供了有价值的指导，也有助于推进对复杂优化情景中超参数重要性的理解。
May, 2024
本文研究了基于成本敏感的多保真贝叶斯优化算法用于高效的超参数优化问题，引入了用户预定义的效用函数来描述成本和性能之间的权衡，并提出了一种新的获取函数和停止准则以动态选择每个步骤的最佳配置，并最大程度地提高未来效用，同时自动终止优化过程，通过转移学习提高学习曲线外推方法的样本效率，能够捕捉不同配置之间的相关性，为多保真贝叶斯优化提供合理的代理函数，并在各种学习曲线数据集上验证算法，优于现有基线方法，实现更好的成本和性能的权衡。
May, 2024
该研究针对传统分位回归方法在处理异方差、多模态或偏斜数据时所面临的量化误差和维数诅咒问题，提出了一种新的合规高密度分位回归方法。该方法通过动态调整原型集，优化量化过程，确保在高概率密度区域提供有效的覆盖保障，实验结果显示其在预测质量、覆盖范围和鲁棒性上优于现有方法，且在高维数据中表现出更好的可扩展性。
Nov, 2024