部分可观察线性二次控制中的遗憾最小化

Jan, 2020

部分可观察线性二次控制中的遗憾最小化

Regret Minimization in Partially Observable Linear Quadratic Control

Sahin Lale, Kamyar Azizzadenesheli, Babak Hassibi, Anima Anandkumar

TL;DR本文提出一种名为 ExpCommit 的算法，用于在未知模型动态的情况下最小化部分可观测线性二次控制系统中的后悔，并提供一种新颖的方式来分解后悔，并为部分可观测线性二次控制系统提供端到端的次线性后悔上界，并对 ExpCommit 提供稳定性保证及后悔上界。

Abstract

We study the problem of regret minimization in partially observable linear quadratic control systems when the model dynamics are unknown a priori. We propose ExpCommit, an explore-then-commit algorithm that learn

regret minimization partially observable control systems model dynamics markov parameters stability guarantees

发现论文，激发创造

线性二次型调节器的鲁棒自适应控制遗憾界

本文提出了一种自适应控制的方法，可用于处理 Linear Quadratic Regulator 中未知的线性系统和需求预测的问题，算法的时间复杂度为多项式级别，且在控制中有很好的保障。

May, 2018

线性二次系统控制的全自适应保证后悔算法

提出了一种解决具有未知系统模型的线性二次（LQ）控制问题的算法，其遗憾为 O (√T)，并在此基础上提出了首个完全自适应的算法，同时控制策略更新次数和自适应地优化遗憾上限，避免了计算复杂性问题。

Jun, 2024

在线控制的对数后悔

本研究中，我们研究了在线控制下的线性动态系统在拥有转移动态知识的拥有敌意的变化强凸成本函数下的最优遗憾界限，并提出了在线梯度下降和在线自然梯度两种不同且高效的迭代方法来实现遗憾边界小而有效。

Sep, 2019

高效学习线性二次调节器的对数损失

本文介绍了 Linear Quadratic Control 系统的学习问题和非常高效的算法，算法的遗憾只随着决策步数的对数级别增加，并且当某些特定条件成立时可以得到更好的结果，但当条件不成立时，无法避免遗憾增长的平方根级别。

Feb, 2020

有限时间跨度下连续时间线性二次强化学习的对数损失

研究连续时间线性二次调节强化学习问题，提出基于连续时间观测和控制的最小二乘算法和基于离散时间观测和分段常数控制的最小二乘算法，并分析了它们的误差界限和实现可能性。

Jun, 2020

非随机控制的失当学习

本文研究非随机控制问题，提出了一种基于降噪观测值的控制器参数化方法，通过在线梯度下降方法得到一个新的控制器，其对一类闭环策略实现了次线性遗憾，为非随机控制领域中第一个可以与所有线性稳定动态控制器竞争的遗憾界。

Jan, 2020

部分可观察线性动力系统的对数遗憾界

研究如何在部分可观测线性动态系统中进行系统识别和自适应控制，提出了一种基于模型评估的自适应控制在线学习算法，可通过与环境的交互来估计模型动态，通过在线梯度下降更新控制器并改善控制器效能，该算法达到了未知系统的自适应控制的 Polylog (T) 的遗憾上限。

Mar, 2020

对抗性在线控制的对数遗憾

本文针对已知系统且受到敌对扰动的情况下，介绍了新的在线线性二次控制算法，通过将在线控制问题转化为具有近似优越函数的（延迟的）在线学习，无需控制迭代的运动成本，从而提高了算法的效果。

Feb, 2020

动态环境下的遗憾最优控制

考虑线性时变动态系统中的控制问题，使用后悔最小化的方法设计在线控制器，通过一个新的降阶到 H∞控制的方法导出了后悔最优控制器的状态空间结构，并给出了能量干扰下的紧密数据相关的后悔上界。

Oct, 2020

自适应线性二次调节器

本文旨在系统地解决三个问题：无法量化未知系统动态参数对后悔值的影响，现有的一些自适应控制策略的高效实现问题以及未完善的系统参数辨识问题；通过一种新的自适应控制策略分解方法，我们可以得到任意策略的后悔值与最优控制器之间的差距，证明了针对稍作修改的 CE 方案的自适应控制策略的高效性；并给出了不同级别的收敛速率来描述系统未知参数的标识可能性。

Jun, 2018