Feb, 2024

无界退化噪声下的在线线性系统控制

PDF
TL;DR对于具有未知成本函数和可能无界和退化噪声的线性系统控制问题，本文研究了在线控制问题。通过研究发现，对于凸代价函数，即使存在无界噪声，也可以达到约等于 O (根号 T) 的后悔界，其中 T 是时间跨度。此外，当成本函数是强凸时，在文献中需要的噪声协方差非退化假设下，我们得到了约等于 O (多项式 (log T)) 的后悔界。去除对噪声秩的假设的关键是与噪声协方差相关的系统变换，这同时实现了在线控制算法的参数减少。
linear systemonline control problemunbounded noiseregret boundsystem transformation
发现论文，激发创造
  • 在线线性二次控制

    我们研究了控制具有已知嘈杂动力学和对抗选择二次损失的线性时不变系统的问题，并提出了第一种在这种情况下保证 O（sqrt（T））遗憾的有效在线学习算法。我们的算法依赖于对系统稳态分布的新型 SDP 松弛。与以前提出的松弛相反，我们的 SDP 的可行解都对应于 “强稳定” 策略，这些策略混合到稳定状态的速度呈指数增长。

    Jun, 2018

  • 线性动力学的在线控制：基于数据驱动的方法

    该论文研究在线控制问题，通过使用单一无噪声轨迹计算干扰累积并通过在线梯度下降更新参数，提出了一种数据驱动的策略来减小控制器的后悔。

    Aug, 2023

  • 非随机控制的失当学习

    本文研究非随机控制问题，提出了一种基于降噪观测值的控制器参数化方法，通过在线梯度下降方法得到一个新的控制器，其对一类闭环策略实现了次线性遗憾，为非随机控制领域中第一个可以与所有线性稳定动态控制器竞争的遗憾界。

    Jan, 2020

  • 线性动态系统的黑箱控制

    研究使用单个黑盒交互控制未知的线性时不变动态系统的问题，探讨在线非随机控制的情况下如何获得次线性后悔量，该方法可处理对抗性干扰及凸损失函数的变化。我们提供了一种新的系统识别方法，并在一些条件下给出了后悔上界以及结果的匹配性下界。

    Jul, 2020

  • 带敌对扰动的在线控制

    本文研究带有敌对干扰的线性动态系统的控制，在几乎不知道扰动信息的情况下，实现近乎最优的在线控制过程，主要贡献是提出一种算法来提供几乎紧密的遗憾界，这一研究在技术层面上对以前的工作进行了推广和扩展。

    Feb, 2019

  • 在线控制的对数后悔

    本研究中，我们研究了在线控制下的线性动态系统在拥有转移动态知识的拥有敌意的变化强凸成本函数下的最优遗憾界限，并提出了在线梯度下降和在线自然梯度两种不同且高效的迭代方法来实现遗憾边界小而有效。

    Sep, 2019

  • 未知时变动态系统的在线控制

    研究在线控制未知动态的时变线性系统，在非随机控制模型下，通过研究与通用策略的悔恨界证明了该设置比未知时不变或已知时变动态的设置更具有困难性并给出了算法上界，其中 SLS、Youla 和线性反馈策略类被认为是常见的策略类之一。同时，我们给出了针对干扰响应策略类的高效算法，且证明该算法享有具有时间变化的系统所需要的苛刻更强的适应性悔恨界。

    Feb, 2022

  • 对抗性在线控制的对数遗憾

    本文针对已知系统且受到敌对扰动的情况下，介绍了新的在线线性二次控制算法，通过将在线控制问题转化为具有近似优越函数的（延迟的）在线学习，无需控制迭代的运动成本，从而提高了算法的效果。

    Feb, 2020

  • 具有对抗性干扰的线性时不变系统分布式在线控制的遗憾分析

    本研究解决了分布式在线控制问题，考虑了存在对抗干扰的线性时不变系统网络。针对已知动态和未知动态两种情况，分别提出了全分布式干扰反馈控制器和探索 - 执行方法，并给出了相应的遗憾界。

    Oct, 2023

  • 在线堆叠伯格优化与非线性控制

    适应性代理、在线控制、后悔最小化、对抗性干扰、表现性预测是该研究论文的主要关键词，该论文提出了一个统一的算法框架，用于在预测和优化可能的代理响应空间中实现可计算的后悔最小化，同时说明了在各种情况下的的紧界限制以及应用实例。

    Jun, 2024