大规模黑盒优化的嵌入式赌博机
本文介绍了 Random Embedding Bayesian Optimization (REMBO) 算法,运用随机嵌入思想来攻克高维度问题,此算法简单且具有重要的不变性,应用于具有连续和分类变量的领域,经理论和实证分析证明 REMBO 可在高达数十亿个维度的问题中有效地解决问题,其在优化流行的混合整数线性规划求解器的 47 个离散参数方面也达到了状态的最佳表现。
Jan, 2013
本文通过对现有线性嵌入的文献进行研究后,识别出其中的一些关键问题和误解,并在解决这些问题的基础上,极大地提高了利用线性嵌入进行 Bayesian 优化的效能,包括机器人运动中学习步态策略等方面。
Jan, 2020
本文研究了一种新的纯探索选择策略,通过自适应地将每个手臂的特征表示嵌入到低维空间中并仔细处理引起的模型错误,成果展示了该方法在核空间或神经表示中实现的有效维度。实验证明了该方法的有效性。
Jun, 2021
提出了一种嵌套指数权重(NEW)算法,该算法基于一种嵌套的、逐步选择的方法对学习者的选择集进行层次探索,旨在有效解决在线学习问题中存在高度相似性的备选方案,实现遗憾最小化。
Jun, 2022
该论文提出了一种基于随机嵌入贝叶斯优化的方法,并通过将高维子空间的扭曲集成到协方差核中来扩展它。该方法可以解决高外部维度的缺点,避免算法评估提供冗余信息的点,并缓解嵌入域选择边界限制,从而提高其鲁棒性,并在一个具有 25 个变量和内部维度 6 的测试用例中进行了说明。
Nov, 2014
本文提出了一种新颖、可推广和快速的方法,定义了一组嵌入函数集合,并通过随机挑选小的标签子集来学习每个嵌入函数。实验证明,这些嵌入集合可创建有效的嵌入函数,这些函数用于图像检索,并在 CUB-200-2011、Cars-196、In-Shop Clothes 检索以及 VehicleID 上提高了最先进的性能。
Aug, 2018
基于深度学习的推荐系统中,流媒体推荐系统的兴起带来了动态嵌入尺寸搜索的问题,为解决这一问题,本文提出了动态嵌入尺寸搜索(DESS)方法,该方法通过在非静态环境中减小嵌入尺寸选择的后悔度来实现更好的推荐性能。
Aug, 2023
本文给出了随机搜索的理论解释,通过介绍散射维度的概念来描述底层函数的景观,证明了输出随机搜索以 $\widetilde {\mathcal {O}}(\left ( \frac {1}{T} \right)^{\frac {1}{d_s}})$ 的概率收敛于最佳值,提出了 BLiN-MOS 算法,用于在具有 Borel 度量的倍增度量空间中进行 Lipschitz bandits,表明在度量测量空间中,与度量空间的经典理论相比,Lipschitz bandits 的上界可以得到改善。
May, 2023
本研究提出了一种新颖算法 Hyperband,通过自适应资源分配和提前终止实现了超参数优化的加速。该算法在一系列超参数优化问题中比流行的贝叶斯优化方法提供了一个数量级以上的加速。
Mar, 2016