ICMLFeb, 2021

高斯过程赌博机中的宽容后悔和良好动作识别

PDF
TL;DR研究了松弛优化条件下高斯过程逐步优化中的概率波段问题，提出了一些新的算法，证明了其上限，并为其提供了一些具有算法独立性的下限，此外还考虑了寻找单个 “良好行动” 的实际问题，并在此基础上提出了几种能比标准优化方法更快地找到 “良好行动” 的算法。
gaussian processbanditslenient regretgp-ucbgood-action identification algorithms
发现论文，激发创造
  • 赌赢型高斯过程优化：无悔与实验设计

    通过多臂赌博机问题和高斯过程来解决在优化一个未知、嘈杂及难以评估的函数的问题。我们在这个问题上得到了遗憾界，建立了高斯过程优化和实验设计之间的联系。通过实验，我们证明了 GP-UCB 可以优于其他启发式高斯过程优化方法。

    Dec, 2009

  • 高斯过程赌博中的信息增益与遗憾界限

    研究连续性赌博机问题下高斯过程与多种学习算法（GP-UCB、GP-TS）的误差性能，通过独立的贝叶斯和频率学派来分析多项式差距，得出了均价核的特殊化，进一步提高了误差性能。

    Sep, 2020

  • 多臂赌博机的宽容遗憾

    本文提出了一种忽略一定程度下最优性差距的 Bandit 算法，并以其为基础，设计优化算法 Thompson Sampling (ε-TS)。研究结果表明，该算法能够在一定程度上避免过度探索问题，并在保证性能的前提下，提高计算效率。

    Aug, 2020

  • 具有确定性观测的高斯过程赌博机的指数遗憾界

    通过分析高斯过程臂带问题，针对确定性观察结果，运用分支限定算法攻击了确定性情况并获得了更快的指数收敛率，显示出后悔随着时间推移而按高概率下降，估计呈现 O（e ^ - tau * t / (ln t)^（d/4））的结果，其中 d 是搜索空间的维度，tau 是目标函数在其全局最大值附近的行为所依赖的常数。

    Jun, 2012

  • 高斯过程赌博机的最优顺序简单后悔

    研究了高斯过程二元组和连续性优化问题之间的联系，建立了稳健分布，使用分步方式获得最终收敛结果并得到了一系列引理。

    Aug, 2021

  • 误设的高斯过程贝叶斯优化

    本文提出了两种基于高斯过程（GP）方法的算法：一种乐观的 EC-GP-UCB 算法，另一种是一种消除型算法 Phased GP Uncertainty Sampling。本文给出了算法的上界，其依赖于时间长度和核心参数，证明了我们的算法在不知道错误情况下实现了对 ε 的最优依赖性，并证明了 EC-GP-UCB 可以与后悔边界平衡策略相结合。

    Nov, 2021

  • 时变高斯过程贝叶斯优化

    本文考虑带有 Bandit 反馈的序贝叶斯优化问题，采用了允许奖励函数随时间变化的公式。我们使用高斯过程对奖励函数进行建模，并介绍了高斯过程 UCB 算法的两个自然扩展。我们的主要贡献是这些算法的新颖遗憾界，提供了时间跨度和函数变化率之间权衡的明确刻画。我们在合成数据和实际数据上展示了算法的性能，并发现 TV-GP-UCB 的逐渐遗忘效果比 R-GP-UCB “尖锐重置” 更好，而且两种算法都显著优于传统的高斯过程 UCB 算法，因为它将陈旧数据和新数据视为平等。

    Jan, 2016

  • 容忍腐败的高斯过程赌博优化

    使用高斯过程方法提出一种基于随机噪声反馈的未知非凸函数的优化算法 Fast-Slow GP-UCB，在考虑对抗性干扰的情况下，通过两个实例间的随机选择、扩大置信区间和悲观乐观法，提出了稳健性和非稳健性的区分的理论分析。

    Mar, 2020

  • 使用高斯过程在 Bandit 环境下进行最优化估计

    本文研究了一种直接利用未知函数 argmax 估计值的优化策略，并与 GP-UCB 和 GP-PI 策略建立了紧密联系。该方法的自动适应调整探索和利用的权衡，在机器人和视觉任务的广泛实证评估中表现出鲁棒性，通过性能 - 遗憾的界限说明了自适应调整的效果。

    Oct, 2015

  • 在希尔伯特空间中改进的自标准化集中度：GP-UCB 的次线性遗憾

    本文解决了若干向来未解的开放性问题，提供了超线性收敛速度，证明了 GP-UCB 算法在大多数流行核函数上具有最优回报，且证明了简化版本的自标准化集中不等式和超鞅技术是关键技术工具。

    Jul, 2023