Feb, 2019

确定性等价在线性二次控制中很高效

PDF
TL;DR研究了采用确定性等价控制器处理具有未知传递动态的线性二次（LQ）控制问题的性能。通过使用摸不清全监控和部分监控下的确定性等价控制器处理真实系统和使用最优 LQ 控制器之间的成本，我们证明了在参数误差的平方速率下的亚最优差。我们提供了两个新的微扰界限，其中一个扩展了 Konstantinov 等人（1993）的现有结果，另一个基于新的初等证明策略。
发现论文，激发创造
  • 在线 LQR 的朴素探索是最优的

    在处理未知真实系统参数的在线自适应控制问题中，使用新的上下界结论证明误差的最优性跟时间步数，输入空间和系统状态空间的维度呈现为～(T*d_u^2*d_x)^1/2, 并引入自绑定 ODE 方法控制 Riccati 方程扰动，从而实现任意可控系统实例的回归上界。同时，提出对估计的系统动力学进行合成的确定性等效控制器。

    Jan, 2020

  • 控制置信成本

    我们开发了一种考虑推断计算成本的随机控制方法，结合了有效编码和高效控制的概念。研究发现，代理人通过在后验概率相对精度上增加内部成本来权衡总效用和任务性能，从而实现有效控制。通过研究线性二次高斯控制，我们发现代理人在不同任务需求下转换为一系列与旋转变换相关的次最优推断策略，每个策略都对世界的稳定性估计存在误差。这项工作为大脑和机器在高效但受计算限制的控制方面提供了新的合理计算基础。

    Jun, 2024

  • 线性二次调节器的样本复杂度

    本文提出了一种名为 Coarse-ID 控制的多阶段程序，利用随机矩阵理论对 Linear Quadratic Regulator 问题中的未知动态进行建模和控制，同时使用 System Level Synthesis 方法进行控制综合设计，该方法可以在未考虑模型不确定性的情况下实现稳定控制，同时相对误差控制成本的端到端界限也被提供。

    Oct, 2017

  • 输出反馈系统线性二次高斯控制的样本复杂度

    该研究在部分观察的线性二次高斯问题中，通过鲁棒综合程序建立了学习稳定开环植物的鲁棒 LQG 控制器的样本复杂度界限。

    Nov, 2020

  • 线性二次型调节器的鲁棒自适应控制遗憾界

    本文提出了一种自适应控制的方法，可用于处理 Linear Quadratic Regulator 中未知的线性系统和需求预测的问题，算法的时间复杂度为多项式级别，且在控制中有很好的保障。

    May, 2018

  • 基于专家预测的无模型线性二次控制

    本文介绍了一种新的无模型算法，用于控制线性二次系统，利用 reduce 方法，将马尔科夫决策过程的控制问题转化为专家预测问题，该算法实现简单通用，拥有多项理论保证和良好的性能。

    Apr, 2018

  • 有限时间内两个玩家 LQG 系统的结构结果和显式解法

    本文研究了具有两个控制器的广义线性动态系统问题，证明了控制器的充分统计量可以表示为全局状态的条件均值，并给出了最优控制器的具体状态空间公式，以及如何高效解决此问题的算法，其计算复杂度可与集中式问题相媲美。

    Mar, 2013

  • 非随机控制赌博机的最优率

    探究了具有半对抗干扰和随时间变化的对抗性贝叶斯损失函数的线性四次型调节器和线性四次型高斯控制问题。提出了一种新的带有记忆的贪婪凸优化方案，其算法达到了最优遗憾度

    May, 2023

  • 线性二次调节器中基于模型和免模型方法之间的差异：一种渐近观点

    研究在连续控制任务上，基于模型的方法与无模型方法的样本复杂度差异，发现基于模型的策略评估方法的样本复杂度会比最小二乘时序差分方法低，且最佳控制常常需要较少的样本量，这是首次在连续控制任务上证明了基于模型和无模型方法样本复杂度的分离现象。

    Dec, 2018

  • 线性二次系统控制的全自适应保证后悔算法

    提出了一种解决具有未知系统模型的线性二次（LQ）控制问题的算法，其遗憾为 O (√T)，并在此基础上提出了首个完全自适应的算法，同时控制策略更新次数和自适应地优化遗憾上限，避免了计算复杂性问题。

    Jun, 2024