Dec, 2015

均场随机控制问题的 Bellman 方程和黏性解

PDF
TL;DR本文探讨了 McKean-Vlasov 随机微分方程的随机最优控制问题，通过使用反馈控制，将问题重构为只有过程的边际分布的确定性控制问题，并证明了动态规划原则在其一般形式下成立。然后，我们利用随机微分方程解的可导性概念，推导出平均场随机控制问题的 Bellman 方程，并在 McKean-Vlasov 框架下证明了验证定理。针对线性二次平均场控制问题，给出了 Bellman 方程的显式解，包括在平均方差组合选择和系统性风险模型等方面的应用。最后，我们考虑具有开环控制的 McKean-Vlasov 控制问题，并讨论相应的动态规划方程与闭环控制情况的比较。
stochastic optimal controlmckean-vlasovdynamic programmingmean-field controlviscosity solutions
发现论文，激发创造
  • 前向 - 后向随机微分方程和可控的麦克汉 - 弗拉索夫动力学

    通过概率分析，研究了 McKeanVlasov 型非线性随机动力系统的最优控制问题，给出了最优解的充分条件，并将其应用于含有均场交互的大规模随机博弈中。

    Mar, 2013

  • McKean-Vlasov 动力学与均场博弈控制

    本文讨论并比较了两种研究方法，以处理随机微分博弈的渐近区域，这种博 弈有有限个玩家，但玩家数量趋近于无穷。这两种方法在优化和极限通道的顺序上有所不同，一种是指平均场博弈，另一种是控制 McKean-Vlasov 类型的优化问题。这两个问题都涉及到前向后向随机微分方程的分析，其系数取决于解的边缘分布，我们通过研究相应的前向后向系统来说明两种方法的性质和解决方案的差异。文章还阐述了一般性的结果和特定的例子，特别是当代价函数是线性二次型时。

    Oct, 2012

  • 机器学习算法在数值均场控制和博弈中的收敛性分析：第 Ⅱ 部分 -- 有限时间域情形

    提出了两种基于神经网络参数的损失函数的数值方法，用于有限时间视野下的 McKean-Vlasov 动力学的最优控制，为确定如何近似于原始均场控制问题的解，引入了一种新的优化问题，并提供了误差率的严格说明。

    Aug, 2019

  • 具有共同噪声和开环控制的均场马尔可夫决策过程

    在条件 McKean-Vlasov MDP 模型中，对状态和行动间的平均场作用以及存在公共噪声和无限时间视野下的开环控制的优化进行了详尽的研究。通过间隔最优匹配证明了 CMKV-MDP 与概率测度空间上的一般抬升 MDP 之间的对应，并且通过构建值函数所满足的动态规划 Bellman 定点方程，证明了存在最优的随机反馈控制。

    Dec, 2019

  • 扩展均场控制问题：随机极值原理与转移视角

    研究平均场随机控制问题的 Pontryagin 最大原理，推荐一种新的变分方法来解决这些控制问题，并展示了弱形式与路径空间上的最优传输之间的自然联系，启发了一种新的离散化方案。

    Feb, 2018

  • 均场反向随机微分方程：极限方法

    研究一种纯随机方法中的平均场反向随机微分方程的特殊平均场问题的近似解，证明其收敛速度为 1 /sqrt {N}，并证明其三元组以一定意义收敛于一种前向 - 反向随机微分方程解，该解不仅受到布朗运动的控制，而且还受独立高斯场的控制。

    Nov, 2007

  • 均场最优控制

    本研究引入了平均场最优控制的概念，该概念是将建模多代理交互的 ODE 约束下的有限维最优控制问题与约束为 Vlasov 类型的 PDE 的无限维最优控制问题的严格极限过程。通过考虑损失函数中 $L^1$ -norm 项，惩罚广泛的控制组，同时促进其稀疏性，我们考虑关注政策制定者受到最佳策略的制约，以实现其与个体群体之间最简洁的相互作用。

    Jun, 2013

  • 具有超线性增长的 McKean-Vlasov SDEs 的自适应 Euler-Maruyama 方案及其在平均场 FitzHugh-Nagumo 模型中的应用

    本文提出使用调整的 Euler-Maruyama 方案来处理 McKean-Vlasov 随机微分方程，该方案仅假设漂移和扩散系数具有标准单调性条件但状态变量没有全局 Lipschitz 连续性，措施项组件仅需要全局 Lipschitz 连续性，针对 FitzHugh-Nagumo 神经元的平均场模型，数值结果表明该调整方案在大多数情况下优于经过调整的逼近方案，同时还介绍并分析了一个针对具有线性措施依赖性漂移的某些子类 McKean-Vlasov SDE 的自适应 Milstein 方案。

    May, 2020

  • 弱链式矩阵、策略迭代和脉冲控制

    本研究探讨了与随机控制和脉冲控制相关的 Hamilton-Jacobi-Bellman 准变分不等式（HJBQVIs）的数字解法，提出了三种离散化方案并比较了其在不同实例中的表现。其中，直接控制的方案的表现较差，不推荐使用。

    Oct, 2015

  • 平均场理论中的主方程

    研究了 P.L. Lions 在法国学院的讲座中所提出的 Master equation 的概念以及与经典最优化理论中的 HJB-FP（Hamilton-Jacobi-Bellman，Fokker-Planck）方程的联系，同时介绍了如何用代表性智能体来解决 Master equation 问题。

    Apr, 2014