Jun, 2018

自适应线性二次调节器

PDF
TL;DR本文旨在系统地解决三个问题：无法量化未知系统动态参数对后悔值的影响，现有的一些自适应控制策略的高效实现问题以及未完善的系统参数辨识问题；通过一种新的自适应控制策略分解方法，我们可以得到任意策略的后悔值与最优控制器之间的差距，证明了针对稍作修改的 CE 方案的自适应控制策略的高效性；并给出了不同级别的收敛速率来描述系统未知参数的标识可能性。
发现论文，激发创造
  • 线性二次型调节器的鲁棒自适应控制遗憾界

    本文提出了一种自适应控制的方法，可用于处理 Linear Quadratic Regulator 中未知的线性系统和需求预测的问题，算法的时间复杂度为多项式级别，且在控制中有很好的保障。

    May, 2018

  • 高效学习线性二次调节器的对数损失

    本文介绍了 Linear Quadratic Control 系统的学习问题和非常高效的算法，算法的遗憾只随着决策步数的对数级别增加，并且当某些特定条件成立时可以得到更好的结果，但当条件不成立时，无法避免遗憾增长的平方根级别。

    Feb, 2020

  • 基于乐观主义的线性二次系统自适应调节

    本文针对线性二次系统的自适应控制过程中参数辨识与控制权衡的问题，提出了一种基于乐观偏置优化（optimism-based）的自适应控制方法。通过采用一些新的技术手段，本文对于重尾分布的随机矩阵的概率行为进行了综合处理，证明了该方法在半末态下的高概率上界是最优的，而且不需要做出过强的假设条件。

    Nov, 2017

  • 线性二次系统控制的全自适应保证后悔算法

    提出了一种解决具有未知系统模型的线性二次（LQ）控制问题的算法，其遗憾为 O (√T)，并在此基础上提出了首个完全自适应的算法，同时控制策略更新次数和自适应地优化遗憾上限，避免了计算复杂性问题。

    Jun, 2024

  • 仅需 $\sqrt {T}$ 遗憾值即可高效学习线性 - 二次调节器

    我们提出了第一个计算效率高的算法，其在具有未知动态的线性二次控制系统中进行学习时仅有 $\widetilde O (\sqrt {T})$ 遗憾度。

    Feb, 2019

  • 部分可观察线性二次控制中的遗憾最小化

    本文提出一种名为 ExpCommit 的算法，用于在未知模型动态的情况下最小化部分可观测线性二次控制系统中的后悔，并提供一种新颖的方式来分解后悔，并为部分可观测线性二次控制系统提供端到端的次线性后悔上界，并对 ExpCommit 提供稳定性保证及后悔上界。

    Jan, 2020

  • 在线 LQR 的朴素探索是最优的

    在处理未知真实系统参数的在线自适应控制问题中，使用新的上下界结论证明误差的最优性跟时间步数，输入空间和系统状态空间的维度呈现为～(T*d_u^2*d_x)^1/2, 并引入自绑定 ODE 方法控制 Riccati 方程扰动，从而实现任意可控系统实例的回归上界。同时，提出对估计的系统动力学进行合成的确定性等效控制器。

    Jan, 2020

  • 在线控制的对数后悔

    本研究中，我们研究了在线控制下的线性动态系统在拥有转移动态知识的拥有敌意的变化强凸成本函数下的最优遗憾界限，并提出了在线梯度下降和在线自然梯度两种不同且高效的迭代方法来实现遗憾边界小而有效。

    Sep, 2019

  • 一种基于风险敏感的时序性线性二次调节器的遗憾界限

    在线自适应控制有限时域周期性设置下风险敏感线性二次调节器的回避范围研究及拟合泛化条件的简化最小二乘贪婪算法

    Jun, 2024

  • 关于基于预测的在线 LQR 控制算法的后悔分析

    本文研究在线线性二次调节器（LQR）控制与时变成本函数和干扰的动态后悔。研究了具有有限前瞻窗口的成本函数和干扰情况。本文研究的在线控制算法属于具有特定选择终端成本的模型预测控制（MPC），以保证 MPC 的指数稳定性。证明了这种在线算法的后悔随预测长度的指数级下降。本文还研究了对扰动的不准确预测的影响。

    Feb, 2021