MMSep, 2023

三维圆柱体的主动流控制及深度强化学习

PDF
TL;DR该研究首次成功地利用多个独立控制的零净质量通量合成喷射进行主动流量控制，以降低阻力系数。研究使用了基于深度强化学习框架的方法，将计算流体动力学求解器与代理程序结合，实现了多代理强化学习框架，能够利用局部不变性、适应不同几何结构、进行传递学习和交叉应用代理，显著加快了训练速度。通过应用基于深度强化学习的控制策略，在三种不同配置的问题中实现了显著的阻力降低。
active flow controlzero-net-mass-flux synthetic jetsdrag coefficientdeep-reinforcement-learning frameworkmulti-agent reinforcement-learning framework
发现论文，激发创造
  • 利用深度强化学习对旋转圆柱体上的多个喷嘴进行流动的主动控制

    通过将旋转加入深度强化学习算法，结合多个可控喷嘴来实现最大可能的阻力抑制，以优化喷嘴数目、位置以及传感器位置，可以在流体动力学中减少拖力系数，稳定涡街并抑制涡脱落。

    Jul, 2023

  • 经过深度强化学习训练的人工神经网络发现主动流控制策略

    本研究首次应用了一个通过深度强化学习进行训练的人工神经网络来执行主动流控，该网络成功地在研究卡曼涡街时减少了大约 8％的阻力，并使用小的质量流速。

    Aug, 2018

  • 通过深度强化学习训练的人工神经网络，在一系列雷诺数范围内实现强大的主动流控制

    本文研究利用深度强化学习的 PPO 方法对不同雷诺数下的计算流体动力学模拟进行主动流控，成功地减小了波动和减小了阻力。

    Apr, 2020

  • 利用深度强化学习实现鲁棒的流量控制和最优传感器布置

    本研究使用深度强化学习算法，结合两个人工喷射器和压力传感器在圆柱的尾迹中，探索减少阻力的控制策略，并提出了新的优化算法（S-PPO-CMA）来优化传感器布局，结果显示控制效果稳定、鲁棒性高。这些成功实现的结果证明了强化学习在主动流控中具有非常大的潜力，并为实验和工业系统的高效、鲁棒和实用的控制技术实现铺平了道路。

    Jun, 2020

  • 基于动态特征的深度强化学习在圆柱稀疏表面压力感应下的流控制中的应用

    提出了一种基于深度强化学习的自学习算法 DF-DRL，通过提高传感器信号（DF）的动态特征，自动学习反馈控制来控制圆柱尾流，实验结果表明可以将阻力系数降低至先进水平约 8%，从而可以通过使用较少的传感器信号控制尾流。

    Jul, 2023

  • 通过深度强化学习控制流体弹球上的水动力力量

    本文使用深度强化学习算法构建了一个实时反馈策略，用于实现流体弹球系统的流体动力学力控制和追踪，结果表明该策略在复杂流体动力学问题上的控制决策效果理想，可为其他复杂流体动力学问题的高效活动控制策略提供探索。

    Apr, 2023

  • 通过多环境方法加速流控制的深度强化学习策略

    使用深度强化学习（DRL）进行流控制的方法现已提出，文章则针对使用計算流体动力学（CFD）数据训练 DRL 时面临的速度瓶颈进行改进，并提出两种方法以加速其运行：计算流体动力学本身的并行化以及 DRL 算法的并行处理。研究表明，这两种方法的组合可以实现对更复杂流体力学问题的 DRL 研究。

    Jun, 2019

  • 脉冲冲击射流传热控制的深度强化学习

    这项研究旨在探讨强化学习在基于计算流体力学的热控制中的适用性。结果表明，基于深度 Q 网络的 DRL 方法在热控制中具有较高的效率和可行性，其中软化双重 DQN 方法在各种变体中表现最佳，可以在控制周期的 98％以上将温度保持在期望的阈值范围内，这些发现证明了 DRL 在有效解决热控制系统方面的潜力。

    Sep, 2023

  • 通过深度强化学习实现现实世界流体引导刚体控制

    近期增加在强化学习实际应用方面的研究，依赖于能够在规模上准确模拟系统。然而，液体动力学系统等领域展示了复杂的动态现象，难以以高积分速率进行模拟，限制了现代深度强化学习算法在昂贵或安全关键硬件上的直接应用。在本研究中，我们引入了 “Box o Flows”，这是一个新颖的台面实验控制系统，用于系统地评估动态实际环境中的强化学习算法。我们描述了 Box o Flows 的关键组成部分，并通过一系列实验演示了最新的无模型强化学习算法如何通过简单的奖励规范来合成各种复杂行为。此外，我们通过重用过去的经验，探讨了离线强化学习在数据高效假设测试中的作用。我们相信，从这个初步研究中获得的见解以及像 Box o Flows 这样的系统的可用性，将支持开发可普遍应用于复杂动态系统的系统化强化学习算法。附加材料和实验视频可在以下链接找到：[URL]

    Feb, 2024

  • 基于模型的深度强化学习加速流体模拟的学习

    深度强化学习在闭环流控问题中应用模拟环境进行优化，通过模型和流模拟样本相互交替训练，有效减少流控应用中的计算时间，尤其对于复杂流模拟有着潜在的巨大节约。

    Feb, 2024