Jul, 2020

上界逆事实置信区间：一种新的胜算原理用于上下文多臂赌博机

HTML
PDF
TL;DR本文研究实现条件下的通用上下文医生模型并提出了一种名为'Upper Counterfactual Confidence Bounds'的乐观算法，该算法通过在策略空间而非行动空间分析置信区间以及利用潜在功能视角表达在上下文环境中乐观情绪的作用来解决大上下文空间下的问题，并通过引入‘反事实行动偏差’的概念来扩展UCCB原理以涵盖无限行动空间。
发现论文，激发创造
  • 乐观主义的终结？有限臂线性赌博机的渐近分析

    这篇研究分析了随机线性赌博机在实例依赖性遗憾方面的异步情况，并得出了最优性的上下界匹配结果，表明基于乐观主义或汤普森抽样的算法将永远无法达到最优速度，甚至在非常简单的情况下也可能与最优解相差无几。

    Oct, 2016

  • 上置信强化学习中的探索优化

    UCRL3算法是在UCRL2算法的基础上引入了专业时间均匀集中不等式和每个状态-动作对奖励和转移分布的置信区间等改进，以减少探索来优化分布，理论上改善了UCRL2算法，在标准环境下的数值实验也证明了UCRL3算法的实用性和有效性。

    Apr, 2020

  • 带线性约束的随机赌博机

    本文研究了一个约束的上下文线性赌博机问题，提出了一种算法 OPLB 并证明了其 T 轮后悔度的上限，针对多臂赌博机情况提出了高效算法，同时给出了问题的下限和模拟结果。

    Jun, 2020

  • 非静态马尔科夫决策过程的强化学习：（更多）乐观的祝福

    本研究使用不打折扣的强化学习方法，针对马尔可夫决策过程中的漂移非稳定性问题，提出了Sliding Window Upper-Confidence bound for Reinforcement Learning with Confidence Widening算法和Bandit-over-Reinforcement Learning算法，并证明了它们的动态后悔限制及其在参数不确定性情况下的适应性。

    Jun, 2020

  • 提高离线情境感知强化学习的分布鲁棒性

    本文扩展了分布鲁棒优化方法，提出了 Counterfactual Risk Minimization 原则的凸重构方法，介绍了通过 DRO 框架构建离线情境强化学习的渐近置信区间，使用了已知的鲁棒估计渐进性结果自动校准置信区间，并呈现了初步实验结果支持我们方法的有效性。

    Nov, 2020

  • 离线赌博机中基于贝叶斯遗憾最小化的凸松弛方法

    本文提出了一种利用高效对偶锥优化器，直接最小化贝叶斯遗憾的上界以及与VaR和机遇约束优化之间的关系建立的边界的新方法来优化不确定环境下离线数据的决策问题，并与现有算法进行了比较。

    Jun, 2023

  • 上下文多臂老虎机的离线策略优化：高效的谨慎性

    本文介绍了一种称为`pessimistic policy optimization`的算法，用于处理contextual bandits中的策略优化问题，并提供了对于这种方法的最佳统计估计。该算法运用监督学习的方法，在离线交互日志的基础上进行训练，非常适用于处理连续和离散行为空间的问题。

    Jun, 2023

  • BOF-UCB：一种非平稳上下文多臂赌博机问题的贝叶斯优化频率法算法

    我们提出了一种新颖的贝叶斯-乐观频率上置信界（BOF-UCB）算法，用于非平稳环境中的随机上下文线性臂问题。该算法通过使用顺序贝叶斯更新来推断未知回归参数的后验分布，并随后采用频率学方法通过最大化后验分布上的预期奖励来计算上置信界（UCB），从而提高了适应性和性能。我们对BOF-UCB的性能提供了理论保证，并证明了它在合成数据集和经典控制任务中在强化学习环境中平衡探索和利用方面的有效性。我们的结果表明，BOF-UCB优于现有方法，成为非平稳环境中顺序决策的有希望解决方案。

    Jul, 2023

  • 带阶段约束的情境强化学习

    我们在上下文感知强化学习中研究了阶段限制的情况，并提出了一种上界置信区间算法来平衡探索和约束满足，同时证明了其遗憾界。

    Jan, 2024

  • 具有函数逼近的上下文赌博机的二阶界限

    本研究解决了具有函数逼近的上下文赌博机中，乐观最小二乘法算法在奖励测量噪声变化情况下的后悔界限问题。我们首次提出了不再依赖时间范围平方根而是依赖测量方差总和的算法，显著提升了算法的适用性与效率。研究结果为上下文线性问题中导出二阶界限的方法提供了新的思路。

    Sep, 2024