Mar, 2015

多点期望改进法在最优批量设计中的应用

PDF
TL;DR本文借鉴目前在多点预期收益（Expected Improvement，EI）准则上的最新工作，从 EI 的梯度角度出发，推导出一种闭合表达式，旨在利用基于梯度的上升算法，方便 EI 的最大化，并显示了在应用中的实质性计算节省。 结合基于 UCB 的起始设计和基于梯度的 EI 本地优化，在分布式高斯过程优化的批量设计中最终呈现出一个可行的选择。
parallel optimizationbayesian optimizationexpected improvementupper confidence boundgaussian process
发现论文，激发创造
  • 使用上置信界和纯探索的并行高斯过程优化

    本文提出了一种采用高斯过程、UCB 策略和纯探索相结合的算法（GP-UCB-PE），旨在解决在评估带有噪声的未知函数时最大化其价值的问题，通过并行迭代的方式进行批次评估，并分析了批次评估与纯顺序评估在累积遗憾方面的差异。理论和实证验证表明，在固定迭代成本的情况下，批次大小为 K 的情况下，GP-UCB-PE 算法具有比纯顺序版本更小的遗憾界。

    Apr, 2013

  • 改进预期改进算法

    研究 EI 算法的性质及其在贝叶斯优化中的表现。一种简单的修改 EI 算法的方法可以得到渐近最优的结果，并比标准的 EI 算法性能高一个数量级。

    May, 2017

  • 高斯过程赌博优化中的勘探 - 开发权衡并行化

    该论文研究了如何在贝叶斯全局优化中利用并行算法解决多臂赌博问题，提出了基于高斯过程的 GP-BUCB 算法，证明了与串行方法相比，该算法的累积遗憾仅增加一个独立于批量的常数因子，并在两个真实世界应用中展示了其有效性。

    Jun, 2012

  • 使用高斯过程在 Bandit 环境下进行最优化估计

    本文研究了一种直接利用未知函数 argmax 估计值的优化策略，并与 GP-UCB 和 GP-PI 策略建立了紧密联系。该方法的自动适应调整探索和利用的权衡，在机器人和视觉任务的广泛实证评估中表现出鲁棒性，通过性能 - 遗憾的界限说明了自适应调整的效果。

    Oct, 2015

  • 针对并行多目标贝叶斯优化的可微分期望超体积改进方法

    本文利用编程模型和硬件加速，提出了 q-Expected Hypervolume Improvement (qEHVI) 算法，使得计算多目标贝叶斯优化的探索函数能够适用于平行、受限制的计算情况，并通过自动微分方法，一个精确的求解 MC 积分误差的加速器来计算探索函数的性能和效果进行了实证研究。

    Jun, 2020

  • 随机高斯过程上置信区间的贝叶斯优化

    为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程 UCB 采集函数。通过从一个分布中采样探索开发权衡参数，我们证明这允许期望的权衡参数能更好地适应问题而不会影响函数贝叶斯遗憾的约束，并提供结果表明我们的方法在一系列真实和合成问题中比 GP-UCB 获得了更好的性能。

    Jun, 2020

  • 使用改进的概率提高选择技术的多目标贝叶斯全局优化并行算法

    本文提出了五种多目标贝叶斯全局优化的概率提高算法 (q-PoI)，适用于多个解点的批量评估，并针对这些算法的位置依赖行为进行了探讨，并通过实证实验证明了两种贪婪型的 q-PoIs 在低维问题上的有效性以及两种探索性的 q-PoIs 在高维问题上的有效性。

    Aug, 2022

  • 基于行列式点过程的批量高斯过程贝叶斯优化

    提出了一种使用决策点过程 (DPPs) 对批处理进行建模的新方法，使得机器学习中的贝叶斯优化，特别是处理超参数时具有更好的表现。在合成和真实的机器人和超参数优化任务上的实验表明，基于 DPP 采样的方法优于现有技术。

    Nov, 2016

  • 自举式上置信域界限算法

    本文提出了一种基于乘数 bootstrap 的非参数和数据相关的 UCB 算法，并进一步将二阶校正融入该算法，在理论上，我们推导出了在比标准次高斯性更弱的尾部假设下的多臂老虎机的问题相关和问题无关的后悔边界，数值结果表明 UCB 算法相比其他基线在一系列多臂和线性老虎机问题中都有显著的降低后悔

    Jun, 2019

  • 批次贝叶斯优化

    本文基于高斯过程置信上界算法（Gaussian process upper confidence bound）和汤普森抽样方法（Thompson sampling）提出了两个贝叶斯优化算法，同时给出了频率学派的遗憾保证和数值结果。

    Nov, 2019