Nov, 2014

通过随机嵌入改进贝叶斯优化的扭曲核提高鲁棒性

PDF
TL;DR该论文提出了一种基于随机嵌入贝叶斯优化的方法，并通过将高维子空间的扭曲集成到协方差核中来扩展它。该方法可以解决高外部维度的缺点，避免算法评估提供冗余信息的点，并缓解嵌入域选择边界限制，从而提高其鲁棒性，并在一个具有 25 个变量和内部维度 6 的测试用例中进行了说明。
发现论文，激发创造
  • 通过随机嵌入在十亿维度上进行贝叶斯优化

    本文介绍了 Random Embedding Bayesian Optimization (REMBO) 算法，运用随机嵌入思想来攻克高维度问题，此算法简单且具有重要的不变性，应用于具有连续和分类变量的领域，经理论和实证分析证明 REMBO 可在高达数十亿个维度的问题中有效地解决问题，其在优化流行的混合整数线性规划求解器的 47 个离散参数方面也达到了状态的最佳表现。

    Jan, 2013

  • 高维贝叶斯优化中线性嵌入的重新审视

    本文通过对现有线性嵌入的文献进行研究后，识别出其中的一些关键问题和误解，并在解决这些问题的基础上，极大地提高了利用线性嵌入进行 Bayesian 优化的效能，包括机器人运动中学习步态策略等方面。

    Jan, 2020

  • 随机嵌入全局优化中低维域的选择

    本文探讨了优化问题中的低维嵌入假设及其在约束条件下的优化，提出了一种低维度选择方法并在实例中展示。

    Apr, 2017

  • 贝叶斯学习核嵌入

    该研究提出了一种新的概率模型 —— 贝叶斯核嵌入模型，它可以用于解决核学习中的核选择问题，并给出了一个简单、方便的边缘似然函数用于确定核超参数。

    Mar, 2016

  • 将热核进行草图化：使用高斯过程嵌入数据

    引入一种新的非确定性方法，将数据嵌入低维欧几里德空间，该方法基于依赖于数据几何的高斯过程的实现，通过计算高斯过程的实现来计算嵌入，其中高斯过程的协方差函数被取为热核函数，嵌入的直线距离以概率意义上逼近扩散距离，避免了对距离进行尖锐截断并保留了一定的较小尺度结构，此方法还具有对异常值的鲁棒性，并通过理论和实验证明了该方法的优势。

    Mar, 2024

  • 大规模黑盒优化的嵌入式赌博机

    EmbeddedHunter 算法通过随机嵌入技术在分层随机赌博设置中应用随机嵌入技术，扩展了一个乐观的搜索空间，并在低维的点投影随机形成的决策空间上限制性任意变化的目标值来提高随机嵌入优化器的表现，并通过实验验证了该算法的表现，可有效提高大规模问题的解决能力。

    Nov, 2016

  • 结构化随机正交嵌入的不合理有效性

    本文使用基于结构化随机矩阵和正交行的嵌入，分析了其在机器学习中的应用，包括降维和核逼近，同时通过实证结果证明了该方法在各种机器学习应用中具有明显提高精度和 / 或速度的效果。

    Mar, 2017

  • 基于 Rademacher 复杂度界限的条件核均值嵌入超参数学习

    本研究提出了一种基于 Rademacher 复杂度界限的超参数学习框架，用于平衡数据拟合与模型复杂度，从而达到无需核逼近的可扩展核超参数调整方法，并证明本方法优于现行竞争者，可进一步扩展以融合有效应用深度神经网络的权重以提高泛化性能。

    Sep, 2018

  • 基于空间扭曲的贝叶斯优化中融入专家先验知识

    本文提出了一种利用先前知识预测优化函数最优解的方法，在高概率区域扩展搜索空间，低概率区域收缩搜索空间的基础上，将先验分布融入高斯过程的函数模型中，通过重新定义内核矩阵适用于任何采集函数的无偏方法，优于标准贝叶斯优化方法在优化多个基准函数和两个机器学习算法中的表现。

    Mar, 2020

  • 贝叶斯去条件核均值嵌入

    本研究提出了非参数贝叶斯规则的去条件化核均值嵌入，并且展示了其与任务转换高斯过程的后验预测均值的联系。这提供了贝叶斯解释和不确定性估计，解释了它们的正则化超参数，揭示了内核超参数学习的边缘似然函数。这些发现进一步促进了无似然推断和大数据的稀疏表征等实际应用。

    Jun, 2019