May, 2024

一种具有切换成本的自适应贝叶斯优化方法

PDF
TL;DR在资源受限的顺序实验设计中，我们研究了贝叶斯优化的改进，其中搜索空间的某些设计变量的改变会产生切换成本。我们将两种过程受限的批处理算法调整为这个顺序问题的公式，并提出了两种新方法：一种考虑成本，一种忽略成本。通过使用一组 7 个具有不同维度和切换成本设置的可扩展测试函数以及 30 个总配置的验证和比较算法，我们的无超参数成本感知算法在我们考虑的所有设置中都产生了可比的结果，表明对于不同的景观特征和成本权衡具备一定的鲁棒性。随着切换成本的增加，这种方法开始在性能上超越其他算法。我们的工作与其他最近在资源受限设置中仅考虑批处理设置的贝叶斯优化研究有所不同。尽管这项工作的贡献与一般的资源受限问题相关，但在适应不同资源可用性的问题中尤为重要。
bayesian optimizationresource-constrainedsequential experimental designswitching costprocess-constrained batch algorithms
发现论文，激发创造
  • 费用受限的贝叶斯优化的非近视方法

    本文提出了将成本约束的 BO 建模为约束马尔科夫决策过程 (CMDP) 的方法，并开发了一个高效的滚动估计算法，以同时考虑成本和未来迭代次数。作者在超参数优化和传感器集选择中验证了他们的方法。

    Jun, 2021

  • 基于路径的实用贝叶斯优化

    我们提出了一种扩展的 SnAKe 算法，可以同时处理实验成本和输入参数变化成本，包括最大允许输入变化和多目标设置。

    Dec, 2023

  • 安全的顺序优化在切换环境中

    我们考虑设计一个顺序决策制定代理，以最大化随时间变化的未知函数，该函数随时间的变化而改变。在每个步骤中，代理接收到一个观测值，该观测值是代理决定的点上函数值的观测结果，并可能被噪音污染。代理还被限制以高概率采取安全决策，即所选择的点的函数值应大于阈值。针对这个切换环境，我们提出了一种名为自适应安全优化的策略，并通过模拟评估了其性能。该策略结合了贝叶斯优化和变点检测，用于解决安全顺序优化问题。我们观察到适应切换变化的一个主要挑战是在检测到变点时识别安全决策并防止陷入局部最优解。

    Nov, 2023

  • 在线转换与切换成本：鲁棒和学习增强算法

    介绍并研究了涉及能源和可持续发展领域的新兴问题的在线转换与切换成本，通过引入在线玩家尝试在固定时间范围内购买（或销售）资产的问题，我们提出了基于阈值的竞争（鲁棒）算法来优化解决该问题，同时还提出了利用不可信黑盒建议（例如机器学习模型的预测）的学习增强算法，以在平均情况下显著提高性能并保证最坏情况下的竞争性能，并通过碳感知的电动汽车充电案例研究对所提出的算法进行了实证评估，结果显示相对基准方法，我们的算法显著改进了该问题的解决方法。

    Oct, 2023

  • 成本感知贝叶斯优化

    Cost Apportioned BO aims to minimize an objective function as efficiently as possible by combining a cost-effective initial design with a cost-cooled optimization phase, leading to better hyperparameter configurations than competing methods given the same cost budget.

    Mar, 2020

  • 低转移成本的多项式逻辑赌博机

    研究在多项式逻辑赌博算法中探索动作改变尽可能少的限制自适应性，在实现几乎最优的极小化遗憾时，提出两种自适应性的度量：混合替换成本和更精细的项替换成本。

    Jul, 2020

  • 马尔可夫决策过程受限的贝叶斯优化

    Bayesian optimization 通过 Markov 决策过程的框架扩展了其方法，使用强化学习迭代解决一个可行的线性化目标函数，以获得可以提前规划长期视角的策略，将该方法应用于化学反应器优化、路径规划和机器校准等领域。

    Feb, 2024

  • 具有切换成本的近优敌对强化学习

    本文尝试解决如何开发一种可证明高效的带有转换代价的对抗性 RL 算法的问题，并提出了两种新颖的降低转换代价的算法，其回归分析证明了它们的近乎最优性能。

    Feb, 2023

  • 低切换成本可证明高效的 Q 学习

    本研究旨在探究具有有限自适应性的 PAC-MDP 算法，我们提出了一种以本地切换成本为度量标准的 Q-Learning with UCB2 exploration 算法，可在 H 步奖励 MDP 中实现次线性遗憾，适用于医学领域等现实应用场景。

    May, 2019

  • 具有切换成本和其他自适应对手的在线学习

    本文研究了预测中的不同类型自适应（非固定的）对手的强度，使用新概念的策略遗憾去衡量玩家的表现，特别关注记忆和切换成本的自适应对手，具有均摊 2/3 次幂的速率且强度显著较弱。

    Feb, 2013