基于深度强化学习的计算流体力学中主动流控的最佳并行化策略

Feb, 2024

基于深度强化学习的计算流体力学中主动流控的最佳并行化策略

Optimal Parallelization Strategies for Active Flow Control in Deep Reinforcement Learning-Based Computational Fluid Dynamics

PDF

Wang Jia, Hang Xu

TL;DR通过对深度强化学习（DRL）算法在并行设置中进行优化，提高了非线性活动流控制问题中现有 DRL 框架的效率，并通过对输入 / 输出操作的优化实现了高性能计算架构上的线性扩展，从而获得约 78% 的并行效率和 60 个 CPU 核心加速大约 47 倍的培训过程。

Abstract

deep reinforcement learning (DRL) has emerged as a promising approach for handling highly dynamic and nonlinear active flow control (AFC) problems. However, the computational cost associated with training DRL mod

deep reinforcement learning active flow control parallelization efficiency scalability

发现论文，激发创造

通过多环境方法加速流控制的深度强化学习策略

使用深度强化学习（DRL）进行流控制的方法现已提出，文章则针对使用計算流体动力学（CFD）数据训练 DRL 时面临的速度瓶颈进行改进，并提出两种方法以加速其运行：计算流体动力学本身的并行化以及 DRL 算法的并行处理。研究表明，这两种方法的组合可以实现对更复杂流体力学问题的 DRL 研究。

Jun, 2019

基于并行引导策略的深度强化学习在连续流控制应用中的研究

本论文介绍了一种基于深度强化学习的数值流控制方法，提出了一种在保持更新策略性的同时，在分布式环境中检索部分轨迹缓冲区来增强控制模型的并行模式。

Apr, 2023

三维圆柱体的主动流控制及深度强化学习

该研究首次成功地利用多个独立控制的零净质量通量合成喷射进行主动流量控制，以降低阻力系数。研究使用了基于深度强化学习框架的方法，将计算流体动力学求解器与代理程序结合，实现了多代理强化学习框架，能够利用局部不变性、适应不同几何结构、进行传递学习和交叉应用代理，显著加快了训练速度。通过应用基于深度强化学习的控制策略，在三种不同配置的问题中实现了显著的阻力降低。

Sep, 2023

通过深度强化学习训练的人工神经网络，在一系列雷诺数范围内实现强大的主动流控制

本文研究利用深度强化学习的 PPO 方法对不同雷诺数下的计算流体动力学模拟进行主动流控，成功地减小了波动和减小了阻力。

Apr, 2020

优化鱼鳍控制下推力性能的异步并行强化学习

通过使用强化学习算法，并结合流体 - 结构相互作用环境，发现鱼鳍射线控制策略的最佳方法，以实现卓越的推进性能。

Jan, 2024

基于模型的深度强化学习加速流体模拟的学习

深度强化学习在闭环流控问题中应用模拟环境进行优化，通过模型和流模拟样本相互交替训练，有效减少流控应用中的计算时间，尤其对于复杂流模拟有着潜在的巨大节约。

Feb, 2024

深度强化学习的高效并行方法

提出一种高效并行化深度强化学习算法的框架，可以在单台计算机上实现多个参与者的学习。该框架可以应用于各种算法，包括值函数和策略梯度算法，并且可以在 GPU 上高效实现。通过在 GPU 上实现了优势优化器演员 - 评论员算法，使用同步更新和在策略体验上训练，结果表明该算法在短时间内取得了 Atari 游戏领域的最新效果。

May, 2017

经过深度强化学习训练的人工神经网络发现主动流控制策略

本研究首次应用了一个通过深度强化学习进行训练的人工神经网络来执行主动流控，该网络成功地在研究卡曼涡街时减少了大约 8％的阻力，并使用小的质量流速。

Aug, 2018

脉冲冲击射流传热控制的深度强化学习

这项研究旨在探讨强化学习在基于计算流体力学的热控制中的适用性。结果表明，基于深度 Q 网络的 DRL 方法在热控制中具有较高的效率和可行性，其中软化双重 DQN 方法在各种变体中表现最佳，可以在控制周期的 98％以上将温度保持在期望的阈值范围内，这些发现证明了 DRL 在有效解决热控制系统方面的潜力。

Sep, 2023

分布式滤波电路的自动设计和优化采用强化学习

提出的自动化方法利用强化学习算法来改善分布式过滤电路（DFCs）的设计，消除了工程师设计经验的依赖，从而显著降低了电路设计的主观性和限制性。实验结果表明，与传统的工程师驱动方法相比，该方法在设计效率和质量上都有明显的改进，特别是在设计复杂或快速演化的 DFCs 时表现出卓越性能。此外，与现有的电路自动化设计技术相比，该方法展现出更高的设计效率，凸显了强化学习在电路设计自动化中的巨大潜力。

Feb, 2024