具有不确定情节长度的在线强化学习

AAAIFeb, 2023

具有不确定情节长度的在线强化学习

Online Reinforcement Learning with Uncertain Episode Lengths

Debmalya Mandal, Goran Radanovic, Jiarui Gan, Adish Singla, Rupak Majumdar

TL;DR研究了应用于随机 episode 长度的模型下的强化学习框架，设计出相应的 regret 最小化的强化学习算法，并用于价值迭代算法在网格环境下的对比。

Abstract

Existing episodic reinforcement algorithms assume that the length of an episode is fixed across time and known a priori. In this paper, we consider a general framework of episodic reinforcement learning when the length of each episode is drawn from a distribution. We first establish th

episodic reinforcement learning general discounting regret minimization uncertain episode lengths value-iteration based

发现论文，激发创造

广义线性函数逼近强化学习中的乐观主义

本论文提出了一种新的基于广义线性函数逼近的回合式强化学习算法，并在乐观闭合假设下分析其性能，证明了其具有更低的复杂度，并且是强化学习中第一个具有统计和计算效率的基于广义线性函数的算法。

Dec, 2019

有限时间跨度下连续时间线性二次强化学习的对数损失

研究连续时间线性二次调节强化学习问题，提出基于连续时间观测和控制的最小二乘算法和基于离散时间观测和分段常数控制的最小二乘算法，并分析了它们的误差界限和实现可能性。

Jun, 2020

无折扣连续强化学习的在线遗憾界

该研究针对连续状态空间中的无折扣强化学习问题，提出了一种结合状态聚合和使用置信上界实现面对不确定性乐观的算法，在 rewards 和 transition probabilities 保持 Holder 连续性的情况下，给出了子线性遗憾界。

Feb, 2013

未知马尔可夫博弈中的在线学习

本文研究未知马尔可夫博弈的在线学习问题以及提出了一种算法，实现了与后记中的最佳响应之间亚线性的最小化值的竞争。

Oct, 2020

强化学习中的一次性回馈理论

我们研究了一种强化学习的理论，学习者只在每次学习完成后收到一次二元反馈。我们提供了一种具有统计和计算效率的算法，可以在这种更具挑战性的情况下实现学习。该算法可以在未知参数模型生成的轨迹标签上运行，并达到亚线性遗憾。

May, 2021

对抗性马尔科夫决策过程中的在线凸优化

本文研究了在线学习在没有循环的马尔可夫决策过程中的应用，提出了基于熵正则化方法实现的在线算法并给出了 $\tilde {O}(L|X|\sqrt {|A|T})$ 的遗憾界，通过处理凸性能标准并改进之前的遗憾界，扩展了对抗性 MDP 模型，并可以更好地处理单个 episode 的损失。

May, 2019

超越价值函数差距：改进的基于实例的遗憾界限用于情节马尔可夫决策过程强化学习

为有限的 Merkov 决策过程中的强化学习提供了更好的基于间隙的遗憾度量方法。

Jul, 2021

长期强化学习是否比短期强化学习更困难？

通过构建 ε- 网络和在线轨迹合成算法，证明纯表格的情况下，对于每个长度的规划时间，可以通过对数级的样本复杂度在多项式时间内发现适当规范化后的最佳策略，从而证明了一个假设，即规划时间的增加并不会增加学习长时序的 RW 的难度。

May, 2020

折扣强化学习中的采样与估计故事

本文围绕折扣强化学习中下降估算最常见的问题，提出了关于估算误差与马尔科夫过程和折扣因子的混合特性的极小极大下界，然后对一组显著的估算器和相应的采样程序进行了统计分析，并表明直接从马尔科夫过程折扣核中进行抽样估计平均值，相对于传统估算器具有更优异的统计特性。

Apr, 2023

延迟几何折扣：强化学习的另一种准则

通过推广折扣问题的公式，使用延迟目标函数家族解决通过强化学习问题中存在的样本低效和探索问题，并用所设计的算法成功地解决了硬的探索问题和改善了经典模拟机器人基准测试的样本效率。

Sep, 2022