动态代理切换：在线推荐中因子机配置的高效采样搜索
使用离线模拟器并应用多任务贝叶斯优化改进在线机器学习系统的方法，较之仅进行在线实验，能够更有效地探索复杂、多维度的策略空间，并通过学习曲线表明离线实验可以显著提高在线实验结果的准确性和优化速度。
Apr, 2019
提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。
May, 2019
通过将优化问题表示为元变量的线性组合，我们学习了大规模优化问题的低维代理模型。通过端到端地训练低维代理模型和预测模型，我们实现了训练和推断时间的大幅减少，同时通过关注优化中的重要变量和在更平滑的空间中学习来提高性能。
Jun, 2020
本研究提出了一种基于梯度提升的代理模型，并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计，同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明，该方法能够在一系列分类问题中优于一些最新的技术。
Jan, 2021
利用自动机器学习技术自适应设计协同过滤模型的研究，提出了一种综合考虑超参数与架构搜索的算法，通过筛选有用的超参数选择来减少搜索空间，以及通过两阶段搜索算法来高效地找到适当的配置，实验证明了该算法在真实数据集上的优越性。
Jul, 2023
对于优化昂贵的黑盒函数，代理优化算法表现出了一定的潜力。然而，与采样和代理适配相关的超参数对其性能产生了很大影响，这给普及它们带来了挑战。我们研究了超参数对各种代理优化算法的影响，并提出了一种名为Hyperparameter Adaptive Search for SO（HASSO）的方法。HASSO不是一个超参数调整算法，而是一种通用的自适应代理优化算法，通过动态调整自己的超参数同时优化主要目标函数，而无需额外的评估。目标是提高代理优化算法对实践者的可访问性、效果和收敛速度。我们的方法确定并修改了每个问题和代理方法相关的最有影响力的超参数，减少了手动调整的需要，同时不显著增加计算负担。实验结果证明了HASSO在加强各种代理优化算法在不同全局优化测试问题上的性能方面的有效性。
Oct, 2023
整合替代数据对模型训练的测试误差有显著减少作用，所需使用经验风险最小化进行加权至关重要，模型训练中真实与替代数据混合的测试误差可通过标度律预测最优加权及替代数据的利益。
Feb, 2024
本研究针对启发式优化中昂贵的适应度计算问题，提出了使用替代模型作为解决方案的创新方法。通过比较回归模型和成对模型的表现，研究发现，在线机器学习基础的替代模型的性能不仅取决于预测模型的准确性，还受到对正负案例偏向性及优化使用这些预测的影响，这对实际应用具有重要意义。
Oct, 2024
本研究解决了超参数选择对机器学习算法性能影响的关键问题，特别是在超参数数量较多时手动搜索变得不切实际。论文提出了一种统一的超参数优化方法，总结了自动搜索技术的主要类别，并展示了前沿的研究实例和见解，旨在为未来的研究方向提供指导。
Oct, 2024