基于学习的线性二次高斯控制附加勘探的遗憾分析

Nov, 2023

基于学习的线性二次高斯控制附加勘探的遗憾分析

Regret Analysis of Learning-Based Linear Quadratic Gaussian Control with Additive Exploration

Archith Athrey, Othmane Mazhar, Meichen Guo, Bart De Schutter, Shengling Shi

TL;DR通过数值模拟，我们分析了一种称为 LQG-NAIVE 的方法在控制未知部分可观察系统时产生的后悔效应，提出了扩展到 “闭环” 设置的 LQG-IF2E 方法，并验证了其与 LQG-NAIVE 的竞争性能。

Abstract

In this paper, we analyze the regret incurred by a computationally efficient exploration strategy, known as naive exploration, for controlling unknown partially observable systems within the Linear Quadratic Gaus

regret naive exploration linear quadratic gaussian (lqg)lqg-naive lqg-if2e

发现论文，激发创造

线性二次系统控制的全自适应保证后悔算法

提出了一种解决具有未知系统模型的线性二次（LQ）控制问题的算法，其遗憾为 O (√T)，并在此基础上提出了首个完全自适应的算法，同时控制策略更新次数和自适应地优化遗憾上限，避免了计算复杂性问题。

Jun, 2024

在线 LQR 的朴素探索是最优的

在处理未知真实系统参数的在线自适应控制问题中，使用新的上下界结论证明误差的最优性跟时间步数，输入空间和系统状态空间的维度呈现为～(T*d_u^2*d_x)^1/2, 并引入自绑定 ODE 方法控制 Riccati 方程扰动，从而实现任意可控系统实例的回归上界。同时，提出对估计的系统动力学进行合成的确定性等效控制器。

Jan, 2020

线性二次型调节器的鲁棒自适应控制遗憾界

本文提出了一种自适应控制的方法，可用于处理 Linear Quadratic Regulator 中未知的线性系统和需求预测的问题，算法的时间复杂度为多项式级别，且在控制中有很好的保障。

May, 2018

部分可观察线性二次控制中的遗憾最小化

本文提出一种名为 ExpCommit 的算法，用于在未知模型动态的情况下最小化部分可观测线性二次控制系统中的后悔，并提供一种新颖的方式来分解后悔，并为部分可观测线性二次控制系统提供端到端的次线性后悔上界，并对 ExpCommit 提供稳定性保证及后悔上界。

Jan, 2020

输出反馈系统线性二次高斯控制的样本复杂度

该研究在部分观察的线性二次高斯问题中，通过鲁棒综合程序建立了学习稳定开环植物的鲁棒 LQG 控制器的样本复杂度界限。

Nov, 2020

高效学习线性二次调节器的对数损失

本文介绍了 Linear Quadratic Control 系统的学习问题和非常高效的算法，算法的遗憾只随着决策步数的对数级别增加，并且当某些特定条件成立时可以得到更好的结果，但当条件不成立时，无法避免遗憾增长的平方根级别。

Feb, 2020

有限时间跨度下连续时间线性二次强化学习的对数损失

研究连续时间线性二次调节强化学习问题，提出基于连续时间观测和控制的最小二乘算法和基于离散时间观测和分段常数控制的最小二乘算法，并分析了它们的误差界限和实现可能性。

Jun, 2020

非随机控制赌博机的最优率

探究了具有半对抗干扰和随时间变化的对抗性贝叶斯损失函数的线性四次型调节器和线性四次型高斯控制问题。提出了一种新的带有记忆的贪婪凸优化方案，其算法达到了最优遗憾度

May, 2023

对抗性在线控制的对数遗憾

本文针对已知系统且受到敌对扰动的情况下，介绍了新的在线线性二次控制算法，通过将在线控制问题转化为具有近似优越函数的（延迟的）在线学习，无需控制迭代的运动成本，从而提高了算法的效果。

Feb, 2020

一种基于风险敏感的时序性线性二次调节器的遗憾界限

在线自适应控制有限时域周期性设置下风险敏感线性二次调节器的回避范围研究及拟合泛化条件的简化最小二乘贪婪算法

Jun, 2024