Mar, 2013

有限时间内两个玩家 LQG 系统的结构结果和显式解法

PDF
TL;DR本文研究了具有两个控制器的广义线性动态系统问题，证明了控制器的充分统计量可以表示为全局状态的条件均值，并给出了最优控制器的具体状态空间公式，以及如何高效解决此问题的算法，其计算复杂度可与集中式问题相媲美。
lqgoptimal controllertwo-controllerconditional meanscomputational complexity
发现论文，激发创造
  • 输出反馈系统线性二次高斯控制的样本复杂度

    该研究在部分观察的线性二次高斯问题中，通过鲁棒综合程序建立了学习稳定开环植物的鲁棒 LQG 控制器的样本复杂度界限。

    Nov, 2020

  • 相干的量子 LQG 控制

    本文针对量子线性随机系统的物理可实现性，提出了一种可以完全量子化植物输出信号的量子 LQG 最优控制问题，区别于此前的传统控制方法，并提出了带有附加非线性和线性约束的控制器设计问题，为此提出了一种基于交替投影算法的数值方法，通过完全量子控制器设计示例，成功解决了这个问题。

    Nov, 2007

  • 确定性等价在线性二次控制中很高效

    研究了采用确定性等价控制器处理具有未知传递动态的线性二次（LQ）控制问题的性能。通过使用摸不清全监控和部分监控下的确定性等价控制器处理真实系统和使用最优 LQ 控制器之间的成本，我们证明了在参数误差的平方速率下的亚最优差。我们提供了两个新的微扰界限，其中一个扩展了 Konstantinov 等人（1993）的现有结果，另一个基于新的初等证明策略。

    Feb, 2019

  • 控制置信成本

    我们开发了一种考虑推断计算成本的随机控制方法，结合了有效编码和高效控制的概念。研究发现，代理人通过在后验概率相对精度上增加内部成本来权衡总效用和任务性能，从而实现有效控制。通过研究线性二次高斯控制，我们发现代理人在不同任务需求下转换为一系列与旋转变换相关的次最优推断策略，每个策略都对世界的稳定性估计存在误差。这项工作为大脑和机器在高效但受计算限制的控制方面提供了新的合理计算基础。

    Jun, 2024

  • 一阶方法视角下的 LQR 控制：离散时间情形

    该论文探讨了在反馈增益范围内最大化一个实值矩阵函数的线性二次调节器问题，提出了几种算法，包括基于梯度的方法和牛顿迭代算法。研究表明，这些算法均具有一定的收敛性和稳定性。

    Jul, 2019

  • 从逐步优化策略梯度的角度重新审视 LQR 控制

    本文探讨了离散时间线性二次调节器问题，并从后退视角政策梯度的角度重新审视它，介绍了 RHPG 用于控制应用的无模型学习框架，并提供了一种精细的样本复杂性分析方法，以学习在不知道稳定控制策略情况下的控制策略，并证明了 RHPG 在具有流线型分析的线性控制和估计中的普遍适用性。

    Feb, 2023

  • 线性二次调节器的加速优化环境

    本文介绍了一种处理线性二次调节器问题的一阶加速优化框架，并对 SLQR 和 OLQR 问题给出了其收敛性分析。

    Jul, 2023

  • 改进样本复杂度的学习零和线性二次博弈

    我们提出了一种简化的嵌套零阶算法，通过改进样本复杂度几个数量级，并使用单点零阶估计器，在相同假设下确保了 Γ(E^3) 样本复杂度。

    Sep, 2023

  • 一个 Q 学习算法用于具有随机未知分布参数的离散时间线性二次控制：收敛和稳定性

    本文针对离散时间线性系统和二次标准的随机参数情况，提出一种基于 Q-learning 精神的在线迭代算法来求解这个无限时间视角下的最优控制问题。第一定理证明了学习序列的收敛性、控制问题的良态性和代数 Riccati 方程的解的可解性三个属性的等价性。第二定理证明了在控制问题得到良态的前提下，学习序列的自适应反馈控制可以稳定系统。数值例子用于说明我们算法的可行性及有效性。

    Nov, 2020

  • LQR 控制中线性控制器的威力

    本研究在考虑受环境噪音干扰的线性动态系统调节问题中，计算在线和离线控制策略的策略后悔。研究者在离线控制策略的优化上进行了全面的描述，并证明了离线线性策略的代价会随着时间增长而与在线策略的代价收敛，即使在噪声被选择的情况下。

    Feb, 2020