Jul, 2021

上下文回馈中的误差适应

PDF
TL;DR在这篇论文中，我们介绍了一种新的 Oracle-efficient 算法，适用于无限行动设置下的线性情境强化学习问题，该算法实现了最优的拟合程度依赖性回归（square loss regression）的后悔上限，使得它能够在未知的模型错误情况下灵活适应。
contextual banditsfunction approximationalgorithmmodel misspecificationregret bound
发现论文，激发创造
  • 利用离线回归预测器适应上下文 Bandit 中的错误规格化

    提出了一种简单的上下文 Bandit 算法族，该算法族可以通过当有证据表明错配错误导致遗憾增加时返回良好的安全策略来适应错配误差，而不需要像在线或约束回归神谕一样更健壮的神谕。

    Feb, 2021

  • 强健性多臂赌博机算法对错误假设的鲁棒性研究

    对于参数化赌博机和上下文赌博机，我们确定了一些充分条件，取决于问题实例和模型类别，在这些条件下，经典算法（如 ϵ-greedy 和 LinUCB）在甚至严重错误的奖励设定下，也能够在时间范围内实现亚线性（sublinear）的后悔保证，这与现有针对错误设定赌博机的最坏情况结果形成对比，后者显示的后悔界限与时间成线性关系，这表明存在一组对错误设定具有鲁棒性的赌博机实例。

    Oct, 2023

  • 误设的高斯过程贝叶斯优化

    本文提出了两种基于高斯过程（GP）方法的算法：一种乐观的 EC-GP-UCB 算法，另一种是一种消除型算法 Phased GP Uncertainty Sampling。本文给出了算法的上界，其依赖于时间长度和核心参数，证明了我们的算法在不知道错误情况下实现了对 ε 的最优依赖性，并证明了 EC-GP-UCB 可以与后悔边界平衡策略相结合。

    Nov, 2021

  • 半参数情境赌博机

    该论文研究了半参数上下文赌博机问题，设计了新的算法来解决非线性混淆影响下的奖励估计问题，并通过实证评估证明了该算法的有效性。

    Mar, 2018

  • 超越 ucb: 具有回归预测器的最优和高效上下文臂算法

    本文提出了一种将上下文强化学习转化为在线回归问题的算法；该算法可以在泛型函数类上实现最小化风险，并且与以前的结果相比，它不需要任何分布假设，即使在敌对性上下文的情况下也可以工作。

    Feb, 2020

  • 具备回归神谕的实用上下文强化学习

    本研究提出了一种新的技术，将可实现性方法的经验和计算优势与不可知方法的灵活性相结合，借助回归预测器的可用性来进行算法优化，实现了任何分布假设下出色的表现。

    Mar, 2018

  • 上下文臂选择模型

    介绍了在上下文密集应用中的模型选择问题及其解决方案，该方案适用于线性上下文密集应用，并在先验知识下达到了较低的后验概率。

    Jun, 2019

  • 通过离线神谕在具有多个类别的情境下选择最优模型的方法

    本研究提出了一种新的算法，用于解决上下文 Bandit 问题中的模型选择问题，该算法通过离线模型选择预言机的方式平衡偏差 - 方差交换和探索 - 利用交换，并具有与回归模型选择相同的计算要求。

    Jun, 2021

  • 基于 oracle 的对抗性情境赌博算法的改进遗憾界

    提出了一种基于 oracle 的算法来应对敌对情境下的赌博问题，该算法在访问离线优化 Oracle 并且享有 $O ((KT)^{\frac {2}{3}}(\log N)^{\frac {1}{3}})$ 的遗憾度的情况下是计算有效的，其中 K 是操作的数量，T 是迭代次数，N 是基线策略的数量。

    Jun, 2016

  • 广义线性情境赌博机的可证明最优算法

    本文提出了针对广义线性情境臂的上界置信度算法，实现了与众不同的性能，同时我们还分析了更简单的上界置信度算法，在特定情况下证明了该算法具有最优的后悔。

    Feb, 2017