Mar, 2020

部分可观察线性动力系统的对数遗憾界

PDF
TL;DR研究如何在部分可观测线性动态系统中进行系统识别和自适应控制，提出了一种基于模型评估的自适应控制在线学习算法，可通过与环境的交互来估计模型动态，通过在线梯度下降更新控制器并改善控制器效能，该算法达到了未知系统的自适应控制的 Polylog (T) 的遗憾上限。
system identificationadaptive controlreinforcement learningmodel estimationpartially observable linear dynamical systems
发现论文，激发创造
  • 在线控制的对数后悔

    本研究中，我们研究了在线控制下的线性动态系统在拥有转移动态知识的拥有敌意的变化强凸成本函数下的最优遗憾界限，并提出了在线梯度下降和在线自然梯度两种不同且高效的迭代方法来实现遗憾边界小而有效。

    Sep, 2019

  • 对抗性在线控制的对数遗憾

    本文针对已知系统且受到敌对扰动的情况下，介绍了新的在线线性二次控制算法，通过将在线控制问题转化为具有近似优越函数的（延迟的）在线学习，无需控制迭代的运动成本，从而提高了算法的效果。

    Feb, 2020

  • 非随机控制的失当学习

    本文研究非随机控制问题，提出了一种基于降噪观测值的控制器参数化方法，通过在线梯度下降方法得到一个新的控制器，其对一类闭环策略实现了次线性遗憾，为非随机控制领域中第一个可以与所有线性稳定动态控制器竞争的遗憾界。

    Jan, 2020

  • 未知时变动态系统的在线控制

    研究在线控制未知动态的时变线性系统，在非随机控制模型下，通过研究与通用策略的悔恨界证明了该设置比未知时不变或已知时变动态的设置更具有困难性并给出了算法上界，其中 SLS、Youla 和线性反馈策略类被认为是常见的策略类之一。同时，我们给出了针对干扰响应策略类的高效算法，且证明该算法享有具有时间变化的系统所需要的苛刻更强的适应性悔恨界。

    Feb, 2022

  • 线性动力学的在线控制：基于数据驱动的方法

    该论文研究在线控制问题，通过使用单一无噪声轨迹计算干扰累积并通过在线梯度下降更新参数，提出了一种数据驱动的策略来减小控制器的后悔。

    Aug, 2023

  • 线性动态系统的黑箱控制

    研究使用单个黑盒交互控制未知的线性时不变动态系统的问题，探讨在线非随机控制的情况下如何获得次线性后悔量，该方法可处理对抗性干扰及凸损失函数的变化。我们提供了一种新的系统识别方法，并在一些条件下给出了后悔上界以及结果的匹配性下界。

    Jul, 2020

  • 具有对抗性干扰的线性时不变系统分布式在线控制的遗憾分析

    本研究解决了分布式在线控制问题，考虑了存在对抗干扰的线性时不变系统网络。针对已知动态和未知动态两种情况，分别提出了全分布式干扰反馈控制器和探索 - 执行方法，并给出了相应的遗憾界。

    Oct, 2023

  • 部分可观察线性二次控制中的遗憾最小化

    本文提出一种名为 ExpCommit 的算法，用于在未知模型动态的情况下最小化部分可观测线性二次控制系统中的后悔，并提供一种新颖的方式来分解后悔，并为部分可观测线性二次控制系统提供端到端的次线性后悔上界，并对 ExpCommit 提供稳定性保证及后悔上界。

    Jan, 2020

  • 线性二次型调节器的鲁棒自适应控制遗憾界

    本文提出了一种自适应控制的方法，可用于处理 Linear Quadratic Regulator 中未知的线性系统和需求预测的问题，算法的时间复杂度为多项式级别，且在控制中有很好的保障。

    May, 2018

  • 带对数损失的卡尔曼滤波器在线学习

    本文研究了在线预测未知、部分观察的线性系统生成的观察值的问题，并使用在线最小二乘法来实现对未来观察值的预测，其中系统模型和噪声统计未知，但状态空间已知，本文对 Kalman 滤波器实现了对数遗憾的保证，并扩展到非爆炸系统类别，包括临界不稳定系统。

    Feb, 2020