Jan, 2013

通过随机嵌入在十亿维度上进行贝叶斯优化

PDF
TL;DR本文介绍了 Random Embedding Bayesian Optimization (REMBO) 算法，运用随机嵌入思想来攻克高维度问题，此算法简单且具有重要的不变性，应用于具有连续和分类变量的领域，经理论和实证分析证明 REMBO 可在高达数十亿个维度的问题中有效地解决问题，其在优化流行的混合整数线性规划求解器的 47 个离散参数方面也达到了状态的最佳表现。
bayesian optimizationhigh-dimensionsrandom embedding bayesian optimizationintrinsic dimensionalitymixed integer linear programming
发现论文，激发创造
  • 高维贝叶斯优化中线性嵌入的重新审视

    本文通过对现有线性嵌入的文献进行研究后，识别出其中的一些关键问题和误解，并在解决这些问题的基础上，极大地提高了利用线性嵌入进行 Bayesian 优化的效能，包括机器人运动中学习步态策略等方面。

    Jan, 2020

  • 随机嵌入全局优化中低维域的选择

    本文探讨了优化问题中的低维嵌入假设及其在约束条件下的优化，提出了一种低维度选择方法并在实例中展示。

    Apr, 2017

  • 通过随机嵌入改进贝叶斯优化的扭曲核提高鲁棒性

    该论文提出了一种基于随机嵌入贝叶斯优化的方法，并通过将高维子空间的扭曲集成到协方差核中来扩展它。该方法可以解决高外部维度的缺点，避免算法评估提供冗余信息的点，并缓解嵌入域选择边界限制，从而提高其鲁棒性，并在一个具有 25 个变量和内部维度 6 的测试用例中进行了说明。

    Nov, 2014

  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 贝叶斯优化在机器人学习中遇到了黎曼流形

    该研究提出了一种使用 Riemannian 流形理论的方法，以在机器人学领域中处理非欧几里德参数空间的高维度问题，从而增强了贝叶斯优化的效果，测试结果表明该方法具有较好的性能。

    Oct, 2019

  • 大规模黑盒优化的嵌入式赌博机

    EmbeddedHunter 算法通过随机嵌入技术在分层随机赌博设置中应用随机嵌入技术，扩展了一个乐观的搜索空间，并在低维的点投影随机形成的决策空间上限制性任意变化的目标值来提高随机嵌入优化器的表现，并通过实验验证了该算法的表现，可有效提高大规模问题的解决能力。

    Nov, 2016

  • 高维空间中的批量大规模贝叶斯优化

    本文提出了一种基于集成高斯过程模型的贝叶斯优化算法（EBO），以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明，EBO 能在几分钟内扩展到数万次观测，同时取得了前所未有的优化效果。

    Jun, 2017

  • 高维贝叶斯优化之监督降维

    本文提出了一种基于 Sliced Inverse Regression（SIR）的高维贝叶斯优化算法，能够通过降维方法学习对象函数的内在子结构，并且采用了核技巧来降低计算复杂度和学习非线性的子集。实验证明，该算法在高维贝叶斯优化中具有优越性。

    Jul, 2019

  • 高维贝叶斯优化离散序列的调查与基准

    通过统一的框架和标准化的黑盒函数，针对化学和生物学的实际应用领域，该论文研究了贝叶斯优化的高维优化方法和技术难点，并提供了易于拓展的软件库，以方便实践者更好地应用于离散优化问题。

    Jun, 2024

  • 度量学习的深度随机集合

    本文提出了一种新颖、可推广和快速的方法，定义了一组嵌入函数集合，并通过随机挑选小的标签子集来学习每个嵌入函数。实验证明，这些嵌入集合可创建有效的嵌入函数，这些函数用于图像检索，并在 CUB-200-2011、Cars-196、In-Shop Clothes 检索以及 VehicleID 上提高了最先进的性能。

    Aug, 2018