Oct, 2020

基于不同实例的情境臂和强化学习复杂度：一种基于反对的视角

HTML
PDF
TL;DR该研究提出了一种用于上下文Bandit问题的复杂度度量方法，展示了其与最优实例相关遗憾的关系，并给出了新的算法来实现当存在一个最优选择时能够分辨性地进行探索。同时，该研究还在采用函数近似的强化学习问题上提出了新的算法，达到了优化的样本规模。
发现论文，激发创造
  • 驯服怪兽：一种快速简单的上下文赌博算法

    本文提出了一种在线学习算法，具有上下文匹配学习问题中的统计最优保证，并通过少量的机器学习调用来完成，而且在性能方面非常优秀。

    Feb, 2014

  • 上下文臂选择模型

    介绍了在上下文密集应用中的模型选择问题及其解决方案，该方案适用于线性上下文密集应用，并在先验知识下达到了较低的后验概率。

    Jun, 2019

  • 平滑上下文强化学习：连接参数化和不可微性遗憾模式

    该研究讨论了非参数上下文赌博问题，研究了函数的Hölder类和光滑度参数β之间的插值关系，提出了一种新算法，能够调整到各种光滑度设置，并通过确立匹配的上下限证明其遗憾是速率最优的，从而弥合了现有文献关于参数和非可区分性情境赌徒问题，以及仅使用全局或本地信息的赌徒算法之间的差距，同时也揭示了上下文赌徒问题中的复杂性和遗憾之间关键性的相互影响。

    Sep, 2019

  • 线性上下文臂优化中的自适应探索

    我们设计了一种渐近上限最优算法，并充分利用线性结构和精确探索，从而减少了在多种合理情境下的失算，数值结果表明，与其他基准算法相比，我们的方法大大减少了失算。

    Oct, 2019

  • 上下文回馈中的误差适应

    在这篇论文中，我们介绍了一种新的Oracle-efficient算法，适用于无限行动设置下的线性情境强化学习问题，该算法实现了最优的拟合程度依赖性回归（square loss regression）的后悔上限，使得它能够在未知的模型错误情况下灵活适应。

    Jul, 2021

  • 超越无悔：实例相关的PAC强化学习

    研究提出了一种新的针对PAC表格强化学习的实例相关样本复杂度的计算方法，并设计了一种能够达到该样本复杂度的规划算法，该算法几乎是极小值最优的，且在多个实例上展现出比最坏情况界限更显著的改进。

    Aug, 2021

  • 交互决策中的实例最优性：走向一个非渐近理论

    本研究旨在开发适应性算法，用于互动决策制定，并在实际状况好的实例中适应性地提高性能。研究提出了Allocation-Estimation Coefficient (AEC)的复杂度度量，并提出了新的算法AE2，它控制了AEC的速率，达到非渐近实例优化性能。这些结果补充了较差保证，即现有的统计复杂度概念不足以推导非渐近保证，并且在某些技术条件下，有限时间内学习实例优化决策分配需要限定AEC。

    Apr, 2023

  • 上下文多臂老虎机的离线策略优化：高效的谨慎性

    本文介绍了一种称为`pessimistic policy optimization`的算法，用于处理contextual bandits中的策略优化问题，并提供了对于这种方法的最佳统计估计。该算法运用监督学习的方法，在离线交互日志的基础上进行训练，非常适用于处理连续和离散行为空间的问题。

    Jun, 2023

  • 带阶段约束的情境强化学习

    我们在上下文感知强化学习中研究了阶段限制的情况，并提出了一种上界置信区间算法来平衡探索和约束满足，同时证明了其遗憾界。

    Jan, 2024

  • 通过策略差异估计在表格强化学习中减少样本复杂度

    本文研究了上下文赌博机和表格强化学习中纯探索问题的非渐进样本复杂度，通过识别高概率下一组策略的ε最优策略。我们发现在上下文赌博机中估计策略行为的差异可以识别出最佳策略，但是在表格强化学习中不成立，这表明上下文赌博机和强化学习之间存在差异。然而，受此启发，我们证明只需要估计强化学习策略与一个参考策略的差异几乎足够，并开发了一个算法，得到了迄今为止对表格强化学习的样本复杂性的最紧密已知界限。

    Jun, 2024