Jan, 2020

在线 LQR 的朴素探索是最优的

PDF
TL;DR在处理未知真实系统参数的在线自适应控制问题中，使用新的上下界结论证明误差的最优性跟时间步数，输入空间和系统状态空间的维度呈现为～(T*d_u^2*d_x)^1/2, 并引入自绑定 ODE 方法控制 Riccati 方程扰动，从而实现任意可控系统实例的回归上界。同时，提出对估计的系统动力学进行合成的确定性等效控制器。
online adaptive controllinear quadratic regulatordimension dependencecertainty equivalent controlriccati equations
发现论文，激发创造
  • 线性二次型调节器的鲁棒自适应控制遗憾界

    本文提出了一种自适应控制的方法，可用于处理 Linear Quadratic Regulator 中未知的线性系统和需求预测的问题，算法的时间复杂度为多项式级别，且在控制中有很好的保障。

    May, 2018

  • 在线控制的对数后悔

    本研究中，我们研究了在线控制下的线性动态系统在拥有转移动态知识的拥有敌意的变化强凸成本函数下的最优遗憾界限，并提出了在线梯度下降和在线自然梯度两种不同且高效的迭代方法来实现遗憾边界小而有效。

    Sep, 2019

  • 对抗性在线控制的对数遗憾

    本文针对已知系统且受到敌对扰动的情况下，介绍了新的在线线性二次控制算法，通过将在线控制问题转化为具有近似优越函数的（延迟的）在线学习，无需控制迭代的运动成本，从而提高了算法的效果。

    Feb, 2020

  • 非随机控制的失当学习

    本文研究非随机控制问题，提出了一种基于降噪观测值的控制器参数化方法，通过在线梯度下降方法得到一个新的控制器，其对一类闭环策略实现了次线性遗憾，为非随机控制领域中第一个可以与所有线性稳定动态控制器竞争的遗憾界。

    Jan, 2020

  • 基于学习的线性二次高斯控制附加勘探的遗憾分析

    通过数值模拟，我们分析了一种称为 LQG-NAIVE 的方法在控制未知部分可观察系统时产生的后悔效应，提出了扩展到 “闭环” 设置的 LQG-IF2E 方法，并验证了其与 LQG-NAIVE 的竞争性能。

    Nov, 2023

  • 线性二次系统控制的全自适应保证后悔算法

    提出了一种解决具有未知系统模型的线性二次（LQ）控制问题的算法，其遗憾为 O (√T)，并在此基础上提出了首个完全自适应的算法，同时控制策略更新次数和自适应地优化遗憾上限，避免了计算复杂性问题。

    Jun, 2024

  • 高维线性二次系统的高效强化学习

    研究高维线性二次（LQ）系统的自适应控制问题，提出一种实现遗憾界为 O (p√T) 的自适应控制方案，并指出该方法在计算广告领域具有突出的应用价值。

    Mar, 2013

  • 在线线性二次控制

    我们研究了控制具有已知嘈杂动力学和对抗选择二次损失的线性时不变系统的问题，并提出了第一种在这种情况下保证 O（sqrt（T））遗憾的有效在线学习算法。我们的算法依赖于对系统稳态分布的新型 SDP 松弛。与以前提出的松弛相反，我们的 SDP 的可行解都对应于 “强稳定” 策略，这些策略混合到稳定状态的速度呈指数增长。

    Jun, 2018

  • 一种基于风险敏感的时序性线性二次调节器的遗憾界限

    在线自适应控制有限时域周期性设置下风险敏感线性二次调节器的回避范围研究及拟合泛化条件的简化最小二乘贪婪算法

    Jun, 2024

  • 线性动态系统的黑箱控制

    研究使用单个黑盒交互控制未知的线性时不变动态系统的问题，探讨在线非随机控制的情况下如何获得次线性后悔量，该方法可处理对抗性干扰及凸损失函数的变化。我们提供了一种新的系统识别方法，并在一些条件下给出了后悔上界以及结果的匹配性下界。

    Jul, 2020