MMDec, 2014

近似动态规划的理论和数值分析及其近似误差

PDF
TL;DR本研究探讨了近似动态规划中每次迭代的近似误差如何影响最终结果的质量，研究表明可以基于一些已知量和可验证的假设获得一定范围内的最优解，同时通过计算控制近似误差的上界得到系统稳定的充分条件，最后在轨道机动问题中验证了理论研究的假设并应用了稳定性与优化的条件。
approximate dynamic programmingvalue iterationcontrol approximation errorstabilityoptimal control
发现论文，激发创造
  • 从无限到有限程序：显式误差界与近似动态规划应用

    本研究探讨了在一般情况下难以计算的无穷维空间线性规划问题，通过采用随机优化和一阶方法等新兴发展，将其近似为易于处理的有限凸规划，同时在长期平均成本和折抵成本最优控制问题上，展示了理论研究的适用性和泛化性。

    Jan, 2017

  • 通过最小化分布健壮边界来近似动态规划

    本文描述了一种新的近似动态规划方法 —— 分布式鲁棒性近似动态规划，通过最小化对策略损失的悲观界限来解决维度灾难，将 ADP 转化为优化问题，提高了现有 ADP 方法的理论保证。 DRADP 保证收敛和基于 L1 范数的误差界限，并在基准问题上展示了良好的性能表现。

    May, 2012

  • 动态策略编程

    本文提出了一种新的策略迭代方法 —— 动态策略规划（DPP），用于在无限时间马尔可夫决策过程（MDP）中估计最优策略，证明了 DPP 在估计和近似误差存在的情况下的有限迭代和渐进 l∞-norm 性能损失边界，通过数值实验表明，与现有的强化学习方法相比，在所有情况下，基于 DPP 的算法表现出更好的性能。

    Apr, 2010

  • 一个适用于单调价值函数的近似动态规划算法

    提出了一种名为 Monotone-ADP 的算法，利用价值函数的单调性来提高收敛速度，在三个应用领域中展示了数值结果，可以用比计算最优解所需计算量少两个数量级的迭代次数获得高质量解决方案。

    Jan, 2014

  • 线性随机逼近和 TD 学习的有限时间误差界

    考虑由 Markovian 噪声驱动的线性随机逼近算法的动态特性，通过考虑适当选择的 Lyapunov 函数的漂移，获得常数步长算法的有限时间误差的二次矩的有限时间界限。我们还对逼近误差 2 范数的平方的矩进行了全面的处理。

    Feb, 2019

  • 无限时间视角下基于部分观测的最坏情况控制与学习

    本文研究了安全关键的物理系统所需的控制策略，通过建模系统中的不确定性和模型干扰，提出了一种近似控制和学习框架，并对其进行了数学分析和算法设计。

    Mar, 2023

  • 关于某些策略搜索动态规划算法的性能界限

    本篇研究考虑了马尔科夫决策过程 (Markov Decision Processes) 的无限时间折扣优化控制问题，并提供了 Policy Search 算法以及 Direct Policy Iteration 和 Conservative Policy Iteration 的性能保证，同时提出了 Non-Stationary Direct Policy Iteration 算法，并证明其时间复杂度类似于 DPI，性能保证好于 DPI，且与 CPI 相当。

    Jun, 2013

  • 近似策略迭代方案对比

    本文考虑了马尔可夫决策过程所形式化的无限时间折扣率下的最优控制问题，研究了几种近似策略迭代算法，对它们进行了性能分析，显示了非静态策略迭代算法可以在内存和性能之间进行平衡。

    May, 2014

  • 一种稳定 LPV 系统的有限样本泛化界

    从数据中学习动力系统的一个主要理论挑战是提供关于泛化误差的上界，即在某个有限样本上测量的期望预测误差与经验预测误差之间的差异。本文推导了稳定连续时间线性参数变化系统的一种 PAC 上界，该上界依赖于所选 LPV 系统的 H2 范数，但不依赖于考虑的时间间隔。

    May, 2024

  • 线性时变系统中基于扰动的预测控制遗憾分析

    研究了在动态预测控制中，如何应对时间变化的线性动态和成本，提出了动态后悔度和控制竞争度的因果关系，并基于扰动边界提出了一种新的证明框架。

    Jun, 2021