Dec, 2011

两个区域最优控制问题的贝尔曼方法

PDF
TL;DR通过使用 Bellman 方法，该论文探讨了在空间的两个（或更多）互补区域中动态和运行成本可以完全不同的确定性控制问题，并提供了在其中一个简单几何的情况下定义控制问题、确定动态和运行成本不连续的不同条件以及讨论 Bellman 问题的独特性质。
deterministic control problemsdiscontinuitiesbellman approachvalue functionuniqueness properties
发现论文，激发创造
  • 区域最优控制问题的贝尔曼方法在 $R^N$ 空间的应用

    用 Bellman 方法研究了不同欧几里得空间的动态、运行成本和控制空间不同的无限控制问题，在更广泛的区域和有限时间控制问题方面扩展了结果，并提供了稳定性结果和合理的控制条件和最大、最小解。

    May, 2013

  • 均场随机控制问题的 Bellman 方程和黏性解

    本文探讨了 McKean-Vlasov 随机微分方程的随机最优控制问题，通过使用反馈控制，将问题重构为只有过程的边际分布的确定性控制问题，并证明了动态规划原则在其一般形式下成立。然后，我们利用随机微分方程解的可导性概念，推导出平均场随机控制问题的 Bellman 方程，并在 McKean-Vlasov 框架下证明了验证定理。针对线性二次平均场控制问题，给出了 Bellman 方程的显式解，包括在平均方差组合选择和系统性风险模型等方面的应用。最后，我们考虑具有开环控制的 McKean-Vlasov 控制问题，并讨论相应的动态规划方程与闭环控制情况的比较。

    Dec, 2015

  • 有限时间内带执行延迟的脉冲控制问题

    本文研究了带决策滞后和执行延迟的扩散情况下的脉冲控制问题。我们在动态规划原理的适当版本下，通过挂起的订单考虑状态过程的过去依赖关系，导出对应的 Bellman 偏微分方程系统，并通过粘性解的方式得出了对该非标准 PDE 系统的价值函数唯一刻画和计算最优控制的算法。

    Mar, 2007

  • 构建最优轨迹问题的价值函数及其在图像处理中的应用

    本文提出了一种解决 Hamilton-Jacobi 方程的算法，用于优化车辆在指定区域内行驶的最佳轨迹问题，旨在利用数值方法来找到最小化行驶成本和终端成本的轨迹，并将此算法应用于图像处理领域。

    Mar, 2013

  • 神经时间反演广义瑞克蒂方程

    本文介绍了一种新颖的基于神经网络的最优控制方法，该方法旨在通过在时间上前进来实现最优控制。神经网络不仅用于实施状态动态，还用于估计共轭变量。通过引入一种新的局部策略，即时间反转的广义 Riccati 方程，来确定后一网络的参数。通过讨论一系列最优控制案例研究的实验结果，我们支持这个猜想，即这个策略能够稳定状态动态。

    Dec, 2023

  • 具有状态约束的两人对称差分博弈的价值逼近

    使用三种方法解决了物理信息机器学习方法在机器人应用中由于采样性质而产生的不连续解的问题，并在 5D、9D 车辆模拟和 13D 无人机模拟中证明了混合方法在泛化和安全性能方面的优越性。

    Nov, 2023

  • 最优控制理论的路径积分和对称性破缺

    本文讨论了非线性动态系统的线性二次控制问题，并将其转化为线性方程。通过使用路径积分方法，解决了传统反向计算的问题，并给出了路径积分方法的有效计算方法，如 MC 抽样、Laplace 逼近和变分逼近。通过例子来说明了随机和确定性控制的区别以及噪声的对称性破坏现象的发生。

    May, 2005

  • Koopman 辅助强化学习

    基于 Koopman 算子和马尔可夫决策过程（MDPs）的连接，发展了两种新的强化学习算法，以解决高维状态和非线性问题，构建了 “Koopman tensor” 来估计最优价值函数，通过 Koopman 张量对 Bellman 框架进行了转换，形成软值迭代和软演员 - 评论家（SAC）算法。

    Mar, 2024

  • 使用连续张量分解的高维随机最优控制

    本文提出一种新的基于张量分解的动态规划算法，通过压缩高维函数并在其上直接执行动态规划计算，使其在具有低秩结构的问题实例中能够缓解维数灾难，并对最终的解提供任意精度的保证，同时可实现巨大的计算节省。

    Nov, 2016

  • 随机最短路径问题的次优解界

    通过计算动态规划算子的 Bellman 残差，我们可以计算出随机最短路径问题解的次优性界限。在考虑到过渡成本为正的情况下，即使不是所有的策略都是正确的，我们也可以轻松地计算次优性界限。

    Feb, 2012