Feb, 2022

未知时变动态系统的在线控制

HTML
PDF
TL;DR研究在线控制未知动态的时变线性系统，在非随机控制模型下，通过研究与通用策略的悔恨界证明了该设置比未知时不变或已知时变动态的设置更具有困难性并给出了算法上界，其中SLS、Youla和线性反馈策略类被认为是常见的策略类之一。同时，我们给出了针对干扰响应策略类的高效算法，且证明该算法享有具有时间变化的系统所需要的苛刻更强的适应性悔恨界。
发现论文，激发创造
  • 在线控制的对数后悔

    本研究中，我们研究了在线控制下的线性动态系统在拥有转移动态知识的拥有敌意的变化强凸成本函数下的最优遗憾界限，并提出了在线梯度下降和在线自然梯度两种不同且高效的迭代方法来实现遗憾边界小而有效。

    Sep, 2019

  • 在线LQR的朴素探索是最优的

    在处理未知真实系统参数的在线自适应控制问题中，使用新的上下界结论证明误差的最优性跟时间步数，输入空间和系统状态空间的维度呈现为~(T*d_u^2*d_x)^1/2, 并引入自绑定ODE方法控制Riccati方程扰动，从而实现任意可控系统实例的回归上界。同时，提出对估计的系统动力学进行合成的确定性等效控制器。

    Jan, 2020

  • 部分可观察线性动力系统的对数遗憾界

    研究如何在部分可观测线性动态系统中进行系统识别和自适应控制，提出了一种基于模型评估的自适应控制在线学习算法，可通过与环境的交互来估计模型动态，通过在线梯度下降更新控制器并改善控制器效能，该算法达到了未知系统的自适应控制的Polylog(T)的遗憾上限。

    Mar, 2020

  • 在线非线性控制的信息论遗憾界

    该研究针对未知的非线性动态系统问题，提出了一种基于再生核希尔伯特空间的顺序控制算法，并通过信息理论量来获得近乎最优的遗憾上界，实验结果表明其在多个非线性控制任务中均获得了较好的表现。

    Jun, 2020

  • 线性动态系统的黑箱控制

    研究使用单个黑盒交互控制未知的线性时不变动态系统的问题，探讨在线非随机控制的情况下如何获得次线性后悔量，该方法可处理对抗性干扰及凸损失函数的变化。我们提供了一种新的系统识别方法，并在一些条件下给出了后悔上界以及结果的匹配性下界。

    Jul, 2020

  • 动态环境下的遗憾最优控制

    考虑线性时变动态系统中的控制问题，使用后悔最小化的方法设计在线控制器，通过一个新的降阶到H∞控制的方法导出了后悔最优控制器的状态空间结构，并给出了能量干扰下的紧密数据相关的后悔上界。

    Oct, 2020

  • 基于强自适应在线学习和记忆的对抗跟踪控制

    本文提出了针对线性动态系统中对抗性干扰和损失函数的对抗状态序列跟踪问题的求解方法，包括比较器自适应算法、在线学习算法和对抗跟踪控制器，具有较强的性能保证。

    Feb, 2021

  • 线性动力学的在线控制：基于数据驱动的方法

    该论文研究在线控制问题，通过使用单一无噪声轨迹计算干扰累积并通过在线梯度下降更新参数，提出了一种数据驱动的策略来减小控制器的后悔。

    Aug, 2023

  • 具有对抗性干扰的线性时不变系统分布式在线控制的遗憾分析

    本研究解决了分布式在线控制问题，考虑了存在对抗干扰的线性时不变系统网络。针对已知动态和未知动态两种情况，分别提出了全分布式干扰反馈控制器和探索-执行方法，并给出了相应的遗憾界。

    Oct, 2023

  • 无界退化噪声下的在线线性系统控制

    对于具有未知成本函数和可能无界和退化噪声的线性系统控制问题，本文研究了在线控制问题。通过研究发现，对于凸代价函数，即使存在无界噪声，也可以达到约等于O(根号T)的后悔界，其中T是时间跨度。此外，当成本函数是强凸时，在文献中需要的噪声协方差非退化假设下，我们得到了约等于O(多项式(log T))的后悔界。去除对噪声秩的假设的关键是与噪声协方差相关的系统变换，这同时实现了在线控制算法的参数减少。

    Feb, 2024