Aug, 2023

相当好的控制：何时近似解法比近似模型更好

PDF
TL;DR现有的最优控制方法在处理真实系统中常遇到的复杂性（包括维度、过程误差、模型偏差和数据异质性）时遇到困难。最优控制方法通常寻求简化模型以适应，但何时适用于近似的、简化的模型的最优解胜过适用于更准确的模型的近似解尚未得到充分回答。深度强化学习（DRL）中的算法和计算进展为我们解决这些问题提供了可能性。DRL 方法迄今主要应用于游戏或机器人机械学中，在确切已知规则下运行。我们在没有了解或企图推断进程模型的情况下，展示了使用深度神经网络进行 DRL 算法的能力，成功近似求解了一个非线性三变量渔业模型的解（“策略函数” 或控制规则）。我们发现强化学习代理通过简化问题来获得可解释的控制规则。我们展示了 DRL 所获得的策略在渔业管理中既更具利润性，也更具可持续性，胜过了任何固定死亡率政策 —— 渔业管理中的标准政策家族。
optimal controlsystem complexitiesdeep reinforcement learningpolicy functionfishery management
发现论文，激发创造
  • 使用数据生成接近最优控制区域温度的深度强化学习策略

    通过在基于物理一致的神经网络 (PCNNs) 上评估 DRL 代理，我们证明了 DRL 代理比基于规则的控制器表现更好，并且实现了接近最优的表现，从而提高了建筑行业的能效

    Mar, 2022

  • 随机控制问题的深度学习逼近

    通过蒙特卡洛采样的深度学习方法，将高维随机控制问题的时间依赖控制近似为前馈神经网络，用作控制问题的目标函数，经测试，该方法可以处理高维度问题并且具有令人满意的准确性。

    Nov, 2016

  • 使用深度强化学习控制混沌系统

    本文利用基于模型的强化学习算法，结合深度神经网络，针对一维 Kuramoto-Sivashinsky 方程描述的非线性混沌系统进行控制，通过局部测量得到的限制性传感器数据指引控制策略，实现了混沌状态下目标状态的稳定控制，并有望在复杂的液体系统控制领域中得到广泛应用。

    Jun, 2019

  • 决策和控制的深度生成模型

    本论文旨在研究深度模型强化学习方法的实证不足，并提出解决方案，同时探讨现代生成建模工具箱中推理技术（包括波束搜索、分类器导向抽样和图像修复等）在强化学习问题中的有效规划策略。

    Jun, 2023

  • 深度强化学习优化地下系统不确定地质条件下的井控

    本文提出了一种基于深度强化学习（DRL）的一般控制策略框架，用于地下流动环境中的闭环决策制定。针对数据同化 / 历史匹配和鲁棒优化步骤中的挑战，将闭环油藏管理（CLRM）问题表示为一个部分可观察的马尔科夫决策过程，并使用近端策略优化算法来解决相关的优化问题。数据集由多个地质模型场景合集构成，训练结果表明相对于既有地质模型的鲁棒优化以及传统的 CLRM 方法，基于 DRL 的方法在油水注入生产中的净现值（NPV）获得了 15% 和 33% 的提升，并且相对于传统 CLRM 平均提升了 4% NPV，并且在多种地质模型场景中均能发挥较好的效果。

    Mar, 2022

  • 基于模型的深度强化学习电压控制策略高效学习

    提出了一种基于模型的深度强化学习方法，用于设计短期电压稳定性问题的紧急控制策略，并使用基于深度神经网络 的动态代理模型进行训练，最终在 IEEE 300 总线测试系统上实现了 97.5% 的样本效率和 87.7% 的训练效率。

    Dec, 2022

  • 反馈即所需：基于近似物理模型的真实世界强化学习

    本文提出了一种基于策略梯度的策略优化框架，可以通过可能高度简化的一阶模型对实际数据进行监督学习，从而设计出精确的控制策略。

    Jul, 2023

  • 深度学习作为最优控制问题：模型与数值方法

    本文探讨了深度学习神经网络作为最优控制问题的离散化，提出了一类算法来解决离散最优控制问题，并探讨了在时间离散化方面的延伸。

    Apr, 2019

  • 主动学习强化学习：一种随机最优控制方法

    本文提供了一个应对强化学习的框架，解决了建模不确定性和计算成本高的问题，通过使用强化学习来解决随机动态规划方程，所得的强化学习控制器对多种类型的约束条件是安全的，并且可以主动学习建模不确定性，实现实时学习。通过模拟实例证明了提出方法的有效性。

    Sep, 2023

  • 电厂监控的安全强化学习算法

    我们提出了基于近端策略优化的概率约束强化学习算法，通过使用 Lagrangian relaxation 将约束优化问题转换为无约束目标，从而在先进的核电厂设计中实现了最小违规距离和违规率。

    Jan, 2024