线性动力学的在线控制:基于数据驱动的方法
我们研究了控制具有已知嘈杂动力学和对抗选择二次损失的线性时不变系统的问题,并提出了第一种在这种情况下保证O(sqrt(T))遗憾的有效在线学习算法。我们的算法依赖于对系统稳态分布的新型SDP松弛。与以前提出的松弛相反,我们的SDP的可行解都对应于“强稳定”策略,这些策略混合到稳定状态的速度呈指数增长。
Jun, 2018
本文研究带有敌对干扰的线性动态系统的控制,在几乎不知道扰动信息的情况下,实现近乎最优的在线控制过程,主要贡献是提出一种算法来提供几乎紧密的遗憾界,这一研究在技术层面上对以前的工作进行了推广和扩展。
Feb, 2019
本研究中,我们研究了在线控制下的线性动态系统在拥有转移动态知识的拥有敌意的变化强凸成本函数下的最优遗憾界限,并提出了在线梯度下降和在线自然梯度两种不同且高效的迭代方法来实现遗憾边界小而有效。
Sep, 2019
本文研究非随机控制问题,提出了一种基于降噪观测值的控制器参数化方法,通过在线梯度下降方法得到一个新的控制器,其对一类闭环策略实现了次线性遗憾,为非随机控制领域中第一个可以与所有线性稳定动态控制器竞争的遗憾界。
Jan, 2020
本文针对已知系统且受到敌对扰动的情况下,介绍了新的在线线性二次控制算法,通过将在线控制问题转化为具有近似优越函数的(延迟的)在线学习,无需控制迭代的运动成本,从而提高了算法的效果。
Feb, 2020
研究使用单个黑盒交互控制未知的线性时不变动态系统的问题,探讨在线非随机控制的情况下如何获得次线性后悔量,该方法可处理对抗性干扰及凸损失函数的变化。我们提供了一种新的系统识别方法,并在一些条件下给出了后悔上界以及结果的匹配性下界。
Jul, 2020
考虑线性时变动态系统中的控制问题,使用后悔最小化的方法设计在线控制器,通过一个新的降阶到H∞控制的方法导出了后悔最优控制器的状态空间结构,并给出了能量干扰下的紧密数据相关的后悔上界。
Oct, 2020
研究在线控制未知动态的时变线性系统,在非随机控制模型下,通过研究与通用策略的悔恨界证明了该设置比未知时不变或已知时变动态的设置更具有困难性并给出了算法上界,其中SLS、Youla和线性反馈策略类被认为是常见的策略类之一。同时,我们给出了针对干扰响应策略类的高效算法,且证明该算法享有具有时间变化的系统所需要的苛刻更强的适应性悔恨界。
Feb, 2022
本研究解决了分布式在线控制问题,考虑了存在对抗干扰的线性时不变系统网络。针对已知动态和未知动态两种情况,分别提出了全分布式干扰反馈控制器和探索-执行方法,并给出了相应的遗憾界。
Oct, 2023
对于具有未知成本函数和可能无界和退化噪声的线性系统控制问题,本文研究了在线控制问题。通过研究发现,对于凸代价函数,即使存在无界噪声,也可以达到约等于O(根号T)的后悔界,其中T是时间跨度。此外,当成本函数是强凸时,在文献中需要的噪声协方差非退化假设下,我们得到了约等于O(多项式(log T))的后悔界。去除对噪声秩的假设的关键是与噪声协方差相关的系统变换,这同时实现了在线控制算法的参数减少。
Feb, 2024