改进的基于长短期记忆模型的深度强化学习废水处理模拟器

Mar, 2024

改进的基于长短期记忆模型的深度强化学习废水处理模拟器

Improved Long Short-Term Memory-based Wastewater Treatment Simulators for Deep Reinforcement Learning

Esmaeel Mohammadi, Daniel Ortiz-Arroyo, Mikkel Stokholm-Bjerregaard, Aviaja Anna Hansen, Petar Durdevic

TL;DR在废水处理中，尽管深度强化学习在机器人技术和游戏领域取得了杰出的成果，但在工业流程优化方面仍面临挑战。本研究通过使用模型的预测数据作为输入以进行校正，并改变损失函数以考虑长期预测形态（动态），提供了改进废水处理数据训练模型的两种方法，提高了模拟器在一年中动态时间弯曲方面的性能。这些改进为基于时间序列数据的生物过程模拟器的创建提供了重要的希望。

Abstract

Even though deep reinforcement learning (DRL) showed outstanding results in the fields of Robotics and Games, it is still challenging to implement it in the optimization of industrial processes like wastewater treatment

deep reinforcement learning wastewater treatment simulation compounding error dynamic time warping

发现论文，激发创造

基于深度强化学习算法的污水处理中磷去除过程控制的深度学习模拟器

通过训练六个模型，创建了深度强化学习 (DRL) 的仿真环境，利用监控与数据采集系统 (SCADA) 提供的历史数据来改进废水处理过程中的磷去除，并解决了由模型预测误差累积引起的问题。

Jan, 2024

一种结合迁移学习和物理准则建模的混合方法：提高工业废水处理厂中溶解氧浓度预测

使用传递学习方法，将来自开源模拟模型和另一废水处理厂的知识转移到工业废水处理厂，从而提高预测性能。测试和验证性能分别提高了 27% 和 59%。

Jan, 2024

基于模型的深度强化学习加速流体模拟的学习

深度强化学习在闭环流控问题中应用模拟环境进行优化，通过模型和流模拟样本相互交替训练，有效减少流控应用中的计算时间，尤其对于复杂流模拟有着潜在的巨大节约。

Feb, 2024

水力分布网络实际应用中优化泵站可持续性的混合强化学习

本文介绍了一种改进的 “混合强化学习” 方法，通过将强化学习与历史数据相结合，提高了泵站调度优化的可操作性，增强了智能体的行为解释能力，并最小化错误，从而显著改善了实际水配管网络的可持续性、操作效率和对新出现情况的动态适应能力。

Oct, 2023

基于模型的深度强化学习电压控制策略高效学习

提出了一种基于模型的深度强化学习方法，用于设计短期电压稳定性问题的紧急控制策略，并使用基于深度神经网络的动态代理模型进行训练，最终在 IEEE 300 总线测试系统上实现了 97.5% 的样本效率和 87.7% 的训练效率。

Dec, 2022

了解过去预测未来：强化虚拟学习

本篇论文提出了基于预测模型，使用历史数据构建的虚拟空间的强化学习模型，能够平衡长期和短期奖励，并使模型与真实环境交互以实现学习策略的最终收敛。在 Fed-Batch 过程的实验设置下，我们的方法始终优于现有技术水平。

Nov, 2022

利用机器学习解决物理系统模拟中的计算难题

本研究提出了一个基于机器学习的数据生成框架，旨在辅助那些利用模拟来研究各种物理系统或过程的研究人员。我们的方法包括两个步骤：首先，我们使用有限的模拟数据训练监督预测模型来预测模拟结果；然后，我们使用强化学习代理来生成准确的、类似于模拟的数据，从而更有效地探索参数空间并深入了解物理系统或过程。我们通过两个案例研究：一个关注地震破裂物理，另一个关注新材料开发，证明了所提出框架的有效性。

May, 2023

可解释的组合式污水溢流中的时序模型

探索现代时间序列模型在预测污水系统溢出点以及促使超额污水迅速分散的关键水位方面的作用，以改善废水管理，预防环境污染。

Jan, 2024

利用深度强化学习在田地中优化灌溉效率

本研究提出使用深度强化学习的 DRLIC 灌溉系统来优化灌溉效率，通过考虑当前土壤水分测量和未来水分损失的最优控制策略，实现了水源节约高达 9.52%。

Apr, 2023

相当好的控制：何时近似解法比近似模型更好

现有的最优控制方法在处理真实系统中常遇到的复杂性（包括维度、过程误差、模型偏差和数据异质性）时遇到困难。最优控制方法通常寻求简化模型以适应，但何时适用于近似的、简化的模型的最优解胜过适用于更准确的模型的近似解尚未得到充分回答。深度强化学习（DRL）中的算法和计算进展为我们解决这些问题提供了可能性。DRL 方法迄今主要应用于游戏或机器人机械学中，在确切已知规则下运行。我们在没有了解或企图推断进程模型的情况下，展示了使用深度神经网络进行 DRL 算法的能力，成功近似求解了一个非线性三变量渔业模型的解（“策略函数” 或控制规则）。我们发现强化学习代理通过简化问题来获得可解释的控制规则。我们展示了 DRL 所获得的策略在渔业管理中既更具利润性，也更具可持续性，胜过了任何固定死亡率政策 —— 渔业管理中的标准政策家族。

Aug, 2023