基于物理知识学习和动态规划，该研究旨在开发基于深度学习的算法来解决高维随机控制问题；通过引入与 Hamilton-Jacobi-Bellman 方程相关的路径操作，定义了一个物理知识学习问题，并提出了两种数值方法来求解该问题。研究对截断误差，逼近误差和优化误差对这些方法的准确性的影响进行了错误分析，并提供了各种应用的数值结果来说明所提算法的性能。

Feb, 2024

通过 DeepONet 操作学习框架，我们扩展了基本双曲线和抛物线 PDE 的结果至涉及系统状态和输出或输入延迟的高级双曲线类。我们利用 DeepONet 神经网络逼近算子，并通过数值模拟验证了理论结果，并量化了通过 DeepONet 取代数值 PDE 求解所节省的计算工作量，达到两个数量级。

Jul, 2023

本文介绍了将 Hamilton-Jacobi-Bellman Proximal Policy Optimization（HJBPPO）算法引入强化学习中，使用 Hamilton-Jacobi-Bellman（HJB）方程在连续状态和动作空间中评估价值函数的最优性，将价值网络视为物理学知识神经网络（PINN）来计算其输入的导数，将其实现到 Proximal Policy Optimization（PPO）Clipped 算法中，证明 HJBPPO 算法相比 PPO 算法在 MuJoCo 环境有更好的性能表现。

Feb, 2023

本文提出了一种基于演员 - 评论家算法的控制电池组温度的方法，使用冷却流体模型对其进行建模，并使用物理知识神经网络解决了 HJB 方程，通过最优化方式实现对控制问题的最优控制

May, 2023

本研究探讨了与随机控制和脉冲控制相关的 Hamilton-Jacobi-Bellman 准变分不等式（HJBQVIs）的数字解法，提出了三种离散化方案并比较了其在不同实例中的表现。其中，直接控制的方案的表现较差，不推荐使用。

Oct, 2015

基于 Koopman 算子和马尔可夫决策过程（MDPs）的连接，发展了两种新的强化学习算法，以解决高维状态和非线性问题，构建了 “Koopman tensor” 来估计最优价值函数，通过 Koopman 张量对 Bellman 框架进行了转换，形成软值迭代和软演员 - 评论家（SAC）算法。

Mar, 2024

我们研究了模型无关的强化学习环境下 Hamilton-Jacobi-Bellman 方程的稳定性属性，特别是对于 Lipschitz 连续最优控制问题。通过在动力学和奖励函数中引入结构假设，我们进一步研究了值函数的收敛速度。此外，我们引入了一个广义框架，用于处理包含原始问题的 Lipschitz 连续控制问题，并基于此提出了一种新的基于 HJB 的强化学习算法。通过与现有方法的比较，我们测试了所提方法的稳定性和性能，并使用众所周知的基准示例进行了验证。

Apr, 2024

本文提出了一种基于阻尼牛顿法的 δ-PI 算法，用于未知连续时间非线性系统的 H∞跟踪控制问题。通过使用折扣性能函数和增广系统来获得跟踪 Hamilton-Jacobi-Isaac（HJI）方程，该方程是一个非线性偏微分方程。通过阻尼牛顿迭代算子方程，首先导出了一般化的跟踪 Bellman 方程。δ-PI 算法通过迭代求解该一般化的跟踪 Bellman 方程，可以寻求跟踪 HJI 方程的最优解。提供了基于策略学习和离策略学习的 δ-PI 强化学习方法，并展示了离策略 δ-PI 算法的基于神经网络的实现方案。通过非线性系统仿真验证了无模型的 δ-PI 算法的适用性。

Jan, 2024

使用三种方法解决了物理信息机器学习方法在机器人应用中由于采样性质而产生的不连续解的问题，并在 5D、9D 车辆模拟和 13D 无人机模拟中证明了混合方法在泛化和安全性能方面的优越性。

Nov, 2023

通过神经网络方法实现闭环深度脑刺激 (DBS)。以找到最佳神经刺激策略为目标，将问题转化为控制问题。我们通过离线使用神经网络近似价值函数，结合 Pontryagin 的最大值原理和 Hamilton-Jacobi-Bellman 方程更新值函数估计，实时依据患者的神经活动调整 DBS 系统参数，从而优化治疗效果。

Nov, 2023