Jun, 2016

批量贝叶斯优化的并行知识梯度法

PDF
TL;DR本文提出一种新的批处理贝叶斯优化算法 —— 并行知识梯度方法，有效计算贝叶斯最优批处理点的策略，并在本文中，我们证明了并行知识梯度方法比以往的批处理贝叶斯优化算法更快地找到了全局最优解，在合成测试函数和调整实际机器学习算法的超参数时表现十分优异，特别是在函数评估带有噪声的情况下。
发现论文，激发创造
  • 梯度贝叶斯优化

    本文提出了一种新的贝叶斯优化算法，它利用导数信息来降低目标函数评估的数量，可以适用于包括逐步和批量形式在内的嘈杂和不完整的导数信息，并且可以自动选择保留方向导数以减少推论的计算成本，该算法在众多优化过程中表现出最新的状态性能。

    Mar, 2017

  • 基于行列式点过程的批量高斯过程贝叶斯优化

    提出了一种使用决策点过程 (DPPs) 对批处理进行建模的新方法，使得机器学习中的贝叶斯优化，特别是处理超参数时具有更好的表现。在合成和真实的机器人和超参数优化任务上的实验表明，基于 DPP 采样的方法优于现有技术。

    Nov, 2016

  • 大批量神经多目标贝叶斯优化

    本文提出了一种基于贝叶斯神经网络的优化框架，专门针对数据密集型环境中多目标优化的局限性进行了优化，实现了对大量数据的有效处理和复杂问题的建模，并展示了其在航空动力学和彩色印刷两个领域的应用和有效性。

    Jun, 2023

  • 批处理高维贝叶斯优化：通过结构核学习实现

    本文提出了一种处理高维黑盒函数优化挑战的方法 —— 通过 (1) 推断函数的潜在加法结构以进行更加高效和有效的贝叶斯优化，(2) 并行进行多次评估以减少方法所需的迭代次数。通过 Gibbs 抽样学习潜在结构，并使用定向点过程构建批量查询。实验结果证明，该方法优于现有技术。

    Mar, 2017

  • 贝叶斯优化中利用并行实验的新范式

    本文提出了两种新的并行贝叶斯优化（BO）范例，可利用设计空间的结构进行分区。其中，一种方法是按照性能函数的级集划分设计空间，另一种方法是利用性能函数的部分可分性结构。数值实验表明，这些方法可显著减少搜索所需时间，提高发现全局最优解（而非局部最优解）的概率。

    Oct, 2022

  • 使用改进的概率提高选择技术的多目标贝叶斯全局优化并行算法

    本文提出了五种多目标贝叶斯全局优化的概率提高算法 (q-PoI)，适用于多个解点的批量评估，并针对这些算法的位置依赖行为进行了探讨，并通过实证实验证明了两种贪婪型的 q-PoIs 在低维问题上的有效性以及两种探索性的 q-PoIs 在高维问题上的有效性。

    Aug, 2022

  • 可扩展贝叶斯优化算法：基于深度神经网络

    本文研究如何使用神经网络作为替代高斯过程的方法建立函数分布模型，以实现高效的贝叶斯优化方法并应用于大规模超参数优化，通过卷积网络和神经语言模型在基准目标识别任务和图像描述生成方面实现了优异的效果。

    Feb, 2015

  • 贝叶斯多尺度乐观优化

    本文介绍了一种将高斯过程置信度边界和树形同时乐观的优化相结合的技术，以消除对收购功能辅助优化的需求，并且相比于其他方法更为有效。

    Feb, 2014

  • 高斯过程赌博优化中的勘探 - 开发权衡并行化

    该论文研究了如何在贝叶斯全局优化中利用并行算法解决多臂赌博问题，提出了基于高斯过程的 GP-BUCB 算法，证明了与串行方法相比，该算法的累积遗憾仅增加一个独立于批量的常数因子，并在两个真实世界应用中展示了其有效性。

    Jun, 2012

  • 一种用于机器学习的多批 L-BFGS 方法

    本文研究了一种使用二阶信息和批处理方法进行并行优化的新算法，在多批处理情况下，实现了稳定的拟牛顿更新，并在分布式计算平台上完成了算法行为和收敛性质的研究。

    May, 2016