本篇论文提出了一种基于知识梯度的多保真度贝叶斯优化方法,能在深度神经网络和大规模核学习的超参数调整方面表现优异,并有效解决了验证误差的计算问题。
Mar, 2019
本文提出了一种基于 Bayesian 优化的多保真度方法 BOCA,并通过理论分析和实验展示了其在神经网络调优等任务上的优越性。
Mar, 2017
介绍了一种新颖的信息论获取函数,通过实施基于粒子变分贝叶斯更新的共享任务间潜在变量,平衡了对当前任务信息获取需求与收集可迁移到未来任务的信息目标,实验证明,该策略能够显著提高优化效率。
Mar, 2024
在支持多精度的贝叶斯优化中,MF-GP-UCB 方法可显着提高性能并降低遗憾值
Mar, 2016
利用强化学习中的蒙特卡罗树搜索(Monte Carlo Tree Search)算法对概率模型的近似推理进行建模,提出了基于 “最佳先行探索” 的启发式方法来动态分配函数调用,并展示了该方法的效果优于标准的近似推理方法。
Oct, 2019
本研究主要研究在嘈杂观测下,在图上定义 “爬山友好型” 函数的样本复杂度。作者提出了一个凸性的概念,利用最佳臂识别的变种,可以在少量查询后找到近似最优解。对于具有局部极值并且接近凸性的函数,作者证明了在噪声观测下经典模拟退火的样本复杂度。作者在图基邻近分类和文档重新排序应用问题上,展示了贪心算法和带重启的模拟退火的有效性。
Jun, 2020
本文提出了一种灰盒优化算法,利用 Bayesian 优化框架和 optism-driven 算法,在常用 Kernel 函数下表现出收敛速度优异的特点,这个算法在常规黑盒算法之上大幅提高了全局最优解求解的速度。
Jun, 2023
本文通过对高斯过程黑盒优化中噪音模型的研究,提出了一种可用于重尾噪音的、基于核函数的 UCB 算法以及基于核函数近似的贝叶斯优化算法,解决了现有算法在重尾噪音下表现较差的问题,并在人造和真实数据集上验证了算法性能。
Sep, 2019
本文研究了多目标黑盒优化的新问题,通过以不同资源消耗和准确性变化的多重保真度函数评估来减少资源消耗,以近似真实的帕累托解集合。 提出了一个称为 MF-OSEMO 的新方法来解决这个问题,并在几个综合性和真实基准问题上进行实验,表明 MF-OSEMO 相对于单一忠实算法在多目标优化上有显著改进。
Nov, 2020
本论文提出了一种新的方法,利用估计梯度来逐渐自适应地优化机器学习中的未知函数,并验证了该方法在低维和高维问题上的实验性能,证明了在调整高维超参数时我们的方法的优越性。
Jun, 2019