有限时间跨度下连续时间线性二次强化学习的对数损失

MMJun, 2020

有限时间跨度下连续时间线性二次强化学习的对数损失

Logarithmic regret for episodic continuous-time linear-quadratic reinforcement learning over a finite-time horizon

Matteo Basei, Xin Guo, Anran Hu, Yufei Zhang

TL;DR研究连续时间线性二次调节强化学习问题，提出基于连续时间观测和控制的最小二乘算法和基于离散时间观测和分段常数控制的最小二乘算法，并分析了它们的误差界限和实现可能性。

Abstract

We study finite-time horizon continuous-time linear-quadratic reinforcement learning problems in an episodic setting, where both the state and control coefficients are unknown to the controller. We first propose a least-squares algorithm based on continuous-time observations and contro

continuous-time reinforcement learning linear-quadratic control least-squares algorithm logarithmic regret episodic setting

发现论文，激发创造

一种基于风险敏感的时序性线性二次调节器的遗憾界限

在线自适应控制有限时域周期性设置下风险敏感线性二次调节器的回避范围研究及拟合泛化条件的简化最小二乘贪婪算法

Jun, 2024

使用对数遗憾值的 $Q$- 学习

该论文展示了第一个非渐近结果，证明了如果最优 $Q$- 函数存在严格正的次优性差，则无模型算法可以实现每段落的表格强化学习的对数累积后悔，并且我们将我们的分析扩展到折扣设置，并获得类似的对数累积后悔界限。

Jun, 2020

对抗性在线控制的对数遗憾

本文针对已知系统且受到敌对扰动的情况下，介绍了新的在线线性二次控制算法，通过将在线控制问题转化为具有近似优越函数的（延迟的）在线学习，无需控制迭代的运动成本，从而提高了算法的效果。

Feb, 2020

利用线性函数近似的强化学习的一阶遗憾：一种鲁棒估计方法

本研究基于鲁棒 Catoni 平均值估计器，提出一种新的鲁棒自归一化浓度界，解决了已有技术在大状态空间强化学习中无法获得遗憾上界的问题，并证明了在线性 MDP 设定下，可以获得与最优策略性能某种度量成比例的遗憾上界。

Dec, 2021

高效学习线性二次调节器的对数损失

本文介绍了 Linear Quadratic Control 系统的学习问题和非常高效的算法，算法的遗憾只随着决策步数的对数级别增加，并且当某些特定条件成立时可以得到更好的结果，但当条件不成立时，无法避免遗憾增长的平方根级别。

Feb, 2020

线性函数逼近强化学习的对数遗憾

该研究探讨了使用线性函数逼近的强化学习，提出了新的线性 MDP 假设，并通过实验证明了具有对最优行动价值函数的正增量的情况下可以获得对数后悔界限。

Nov, 2020

在线控制的对数后悔

本研究中，我们研究了在线控制下的线性动态系统在拥有转移动态知识的拥有敌意的变化强凸成本函数下的最优遗憾界限，并提出了在线梯度下降和在线自然梯度两种不同且高效的迭代方法来实现遗憾边界小而有效。

Sep, 2019

高维线性二次系统的高效强化学习

研究高维线性二次（LQ）系统的自适应控制问题，提出一种实现遗憾界为 O (p√T) 的自适应控制方案，并指出该方法在计算广告领域具有突出的应用价值。

Mar, 2013

部分可观察线性二次控制中的遗憾最小化

本文提出一种名为 ExpCommit 的算法，用于在未知模型动态的情况下最小化部分可观测线性二次控制系统中的后悔，并提供一种新颖的方式来分解后悔，并为部分可观测线性二次控制系统提供端到端的次线性后悔上界，并对 ExpCommit 提供稳定性保证及后悔上界。

Jan, 2020

线性二次型调节器的鲁棒自适应控制遗憾界

本文提出了一种自适应控制的方法，可用于处理 Linear Quadratic Regulator 中未知的线性系统和需求预测的问题，算法的时间复杂度为多项式级别，且在控制中有很好的保障。

May, 2018