Mar, 2022

深度强化学习优化地下系统不确定地质条件下的井控

PDF
TL;DR本文提出了一种基于深度强化学习（DRL）的一般控制策略框架，用于地下流动环境中的闭环决策制定。针对数据同化 / 历史匹配和鲁棒优化步骤中的挑战，将闭环油藏管理（CLRM）问题表示为一个部分可观察的马尔科夫决策过程，并使用近端策略优化算法来解决相关的优化问题。数据集由多个地质模型场景合集构成，训练结果表明相对于既有地质模型的鲁棒优化以及传统的 CLRM 方法，基于 DRL 的方法在油水注入生产中的净现值（NPV）获得了 15% 和 33% 的提升，并且相对于传统 CLRM 平均提升了 4% NPV，并且在多种地质模型场景中均能发挥较好的效果。
deep reinforcement learningclosed-loop decision makingreservoir managementproximal policy optimization algorithmgeological models
发现论文，激发创造
  • 使用深度强化学习进行多资产闭环水库管理

    本研究提出一种基于深度强化学习的多资产封闭环水库管理框架，通过训练一个适用于所有考虑的资产的单个全局控制策略，有效地解决了资产逐一训练的问题，并在 2D 和 3D 水驱油注的实验中得出了可行的实用策略。

    Jul, 2022

  • 填充 - 溢出：深度强化学习策略梯度方法用于水库操作决策与控制

    研究采用深度强化学习方法（DDPG、TD3 和 SAC18 和 SAC19）分析并找到了加利福尼亚州福尔桑水库的最佳操作政策，结果表明 TD3 和 SAC 方法能够满足水库需求并优化其运行策略。

    Mar, 2024

  • 相当好的控制：何时近似解法比近似模型更好

    现有的最优控制方法在处理真实系统中常遇到的复杂性（包括维度、过程误差、模型偏差和数据异质性）时遇到困难。最优控制方法通常寻求简化模型以适应，但何时适用于近似的、简化的模型的最优解胜过适用于更准确的模型的近似解尚未得到充分回答。深度强化学习（DRL）中的算法和计算进展为我们解决这些问题提供了可能性。DRL 方法迄今主要应用于游戏或机器人机械学中，在确切已知规则下运行。我们在没有了解或企图推断进程模型的情况下，展示了使用深度神经网络进行 DRL 算法的能力，成功近似求解了一个非线性三变量渔业模型的解（“策略函数” 或控制规则）。我们发现强化学习代理通过简化问题来获得可解释的控制规则。我们展示了 DRL 所获得的策略在渔业管理中既更具利润性，也更具可持续性，胜过了任何固定死亡率政策 —— 渔业管理中的标准政策家族。

    Aug, 2023

  • 基于模型的深度强化学习加速流体模拟的学习

    深度强化学习在闭环流控问题中应用模拟环境进行优化，通过模型和流模拟样本相互交替训练，有效减少流控应用中的计算时间，尤其对于复杂流模拟有着潜在的巨大节约。

    Feb, 2024

  • 基于在线深度强化学习的资源流调控优化建筑工作和现金流

    这篇论文通过建立数学模型和引入深度强化学习（DRL）方法，实现了对建筑项目的资源流和资金流的连续自适应优化控制，提供了建筑项目管理中采用 DRL 技术的可行性，对工作、资源和资金流的自适应控制和优化做出了贡献。

    Jul, 2023

  • 利用高维度传感器反馈的深度强化学习进行灌溉调度

    该研究采用深度强化学习技术，提出了一种有效的灌溉方法，旨在为农民提高粮食产量和效益。对于考虑的每天，决策规则基于九个状态变量输入，返回每天五个不同灌溉量的概率性建议，经过测试证明该决策规则可以在大多数情况下同时实现最高的灌溉效益和经济效益。

    Jan, 2023

  • 使用深度强化学习控制混沌系统

    本文利用基于模型的强化学习算法，结合深度神经网络，针对一维 Kuramoto-Sivashinsky 方程描述的非线性混沌系统进行控制，通过局部测量得到的限制性传感器数据指引控制策略，实现了混沌状态下目标状态的稳定控制，并有望在复杂的液体系统控制领域中得到广泛应用。

    Jun, 2019

  • 基于模型的深度强化学习电压控制策略高效学习

    提出了一种基于模型的深度强化学习方法，用于设计短期电压稳定性问题的紧急控制策略，并使用基于深度神经网络 的动态代理模型进行训练，最终在 IEEE 300 总线测试系统上实现了 97.5% 的样本效率和 87.7% 的训练效率。

    Dec, 2022

  • 水资源管理的带不确定性量化的径流预测：一种约束推理与学习方法

    预测流域水量的时空变化及不确定性量化有助于可持续管理宝贵的水资源，本文研究了约束推理和学习方法，在深度神经网络中将物理定律作为逻辑约束层进行集成，并结合高斯过程和深度时间模型进行不确定性量化。实验证明，这些方法在多个真实数据集上比基线方法具有更好的效果。

    May, 2024

  • 水质监测中基于本地高斯过程的深度强化多智能体学习框架

    提出了一种使用多智能体系统来高效监测水质的水文资源保护方法，通过应用局部高斯过程和深度强化学习来获得有效的监测策略，并表明与现有方法相比，该方法能显著降低水质变量和藻类水华监测的平均估计误差。

    Jan, 2024