Oct, 2023

并行贝叶斯优化：基于满足性汤普森采样的时间敏感黑盒优化

PDF
TL;DR本研究针对时间敏感的黑盒优化问题，提出了满足条件的基于 Thompson 抽样的并行贝叶斯优化（STS-PBO）方法，引入了速率失真理论构建平衡学习所需信息量和次优性的损失函数，并采用 Blahut-Arimoto 算法在每一步计算达到最小信息速率的目标解，实验证明我们的 STS-PBO 方法在同步和异步设置中均优于串行方法和传统 Thompson 抽样的并行贝叶斯优化方法。
bayesian optimizationsatisficing thompson samplingtime-sensitive black-box optimizationrate-distortion theorylithium-ion batteries
发现论文，激发创造
  • 通过 Thompson Sampling 进行异步并行贝叶斯优化

    设计并分析了变化的经典 Thompson sampling 算法以用于贝叶斯优化，并在设置中对其进行了比较，其中函数评估代价高但可以并行执行，在时间约束下，异步并行 TS 相对于同步和顺序版本具有渐进性更低的后悔，同时在卷积神经网络的超参数调整应用中，比现有并行 BO 算法表现更好，更加简单。

    May, 2017

  • 基于汤普森采样的联邦贝叶斯优化

    本文提出联邦 Thompson 采样（FTS）方法，将贝叶斯优化扩展到联邦学习环境中，以协作方式解决黑盒优化问题，用随机傅里叶特征来逼近高斯过程代理模型，采用 Thompson 采样的方式来降低交换的参数数量，并提供了一个理论保证。实验表明 FTS 有效地解决了沟通效率、计算效率和实际性能等问题。

    Oct, 2020

  • 优先多目标贝叶斯优化

    基于偏好的贝叶斯优化（PBO）框架用于优化决策者对可用设计选择的潜在偏好。本文提出了第一个具有多目标的 PBO 框架，并介绍了 dueling scalarized Thompson sampling（DSTS），它是一种流行的 dueling Thompson 算法的多目标推广。研究发现 DSTS 在多个测试函数和模拟的个性化外骨骼和驾驶政策设计任务中优于其他基准算法，并证明了 DSTS 是渐进一致的，为 PBO 中的 dueling Thompson 采样提供了首个收敛保证。

    Jun, 2024

  • 随机延迟反馈下的贝叶斯优化

    本文研究了贝叶斯优化在随机延迟反馈问题上的表现，提出了具有子线性遗憾保证的算法，并在批量 BO 和上下文高斯过程老虎机方面做出了新贡献。作者在合成和真实数据集上进行了实验证明了算法的性能。

    Jun, 2022

  • 基于仿真的贝叶斯优化

    模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。

    Jan, 2024

  • 样本后优化批量神经汤普森采样

    文章提供了 Sample-Then-Optimize 批量神经 TS (STO-BNTS) 和 STO-BNTS-Linear 算法，这两种算法可以使用高度表达性的神经网络作为替代模型，绕开了推论参数矩阵的限制，并且在某些情况下具有渐近的无后悔算法证明。

    Oct, 2022

  • 化学空间大规模加速探索的并行分布式汤普森抽样

    为了解决高吞吐量筛选中大规模问题的局限性，该研究提出了一种基于并行和分布式的 Thompson 采样的可伸缩解决方案，实现了大规模并行贝叶斯优化。结果表明，该方法在大规模问题中表现良好，是大规模并行贝叶斯优化的有效解决方案。

    Jun, 2017

  • 基于原则的偏好贝叶斯优化

    通过使用偏好反馈，我们构建了黑盒函数的置信区间，并提出了一种乐观算法，该算法具有有效的计算方法，并且在累积遗憾方面具有信息理论上的界限，从而使我们能够设计出具有收敛速率保证的估计最佳解决方案的方案。实验结果表明，我们的方法在高斯过程、标准测试函数和热舒适优化问题上都能稳定地达到更好或者有竞争力的性能，相比现有的启发式方法而言，我们的方法不仅拥有遗憾界限或收敛性的理论保证。

    Feb, 2024

  • 最小化 Thompson 采样后悔率对标准差比率 (TS-RSR)：一种可证明高效的批量贝叶斯优化算法

    该论文提出了一种新的批处理贝叶斯优化方法，通过最小化概率预测均值或不确定性来协调每个批次中选择的动作，以减少冗余，并在非凸测试函数上表现出卓越的性能。

    Mar, 2024

  • 时间敏感型贝叶斯优化多臂赌博机学习

    该文研究了在具有时间偏好的情况下的强化学习中，使用折扣累计损失代替累计损失，使用改进的 Thompson 抽样算法得到较强的解决方案。

    Apr, 2017