本文介绍了一个混合型工业冷却系统模型，该模型在多物理模拟中嵌入了分析解，并设计用于强化学习应用，平衡简单性与模拟保真度和可解释性。该模型的保真度通过来自大型冷却系统的实际数据进行评估。随后，通过案例研究，说明了如何使用该模型进行RL研究。对此，我们开发了一项工业任务套件，允许指定不同的问题设置和复杂性水平，并使用它来评估不同RL算法的性能。

Jul, 2022

通过将旋转加入深度强化学习算法，结合多个可控喷嘴来实现最大可能的阻力抑制，以优化喷嘴数目、位置以及传感器位置，可以在流体动力学中减少拖力系数，稳定涡街并抑制涡脱落。

Jul, 2023

本文提出了基于Sim2Real迁移学习的深度强化学习控制方法，用于有机朗肯循环（ORC）的过热控制，在智能制造中提供了简单、可行和用户友好的解决方案，用于能源系统的优化控制。实验结果表明，所提出的方法显著提高了ORC控制问题中深度强化学习的训练速度，并通过Sim2Real迁移在多种运行条件下解决了智能体的泛化性能问题。

Aug, 2023

该研究首次成功地利用多个独立控制的零净质量通量合成喷射进行主动流量控制，以降低阻力系数。研究使用了基于深度强化学习框架的方法，将计算流体动力学求解器与代理程序结合，实现了多代理强化学习框架，能够利用局部不变性、适应不同几何结构、进行传递学习和交叉应用代理，显著加快了训练速度。通过应用基于深度强化学习的控制策略，在三种不同配置的问题中实现了显著的阻力降低。

Sep, 2023

这项研究旨在探讨强化学习在基于计算流体力学的热控制中的适用性。结果表明，基于深度Q网络的DRL方法在热控制中具有较高的效率和可行性，其中软化双重DQN方法在各种变体中表现最佳，可以在控制周期的98％以上将温度保持在期望的阈值范围内，这些发现证明了DRL在有效解决热控制系统方面的潜力。

Sep, 2023

近期增加在强化学习实际应用方面的研究，依赖于能够在规模上准确模拟系统。然而，液体动力学系统等领域展示了复杂的动态现象，难以以高积分速率进行模拟，限制了现代深度强化学习算法在昂贵或安全关键硬件上的直接应用。在本研究中，我们引入了“Box o Flows”，这是一个新颖的台面实验控制系统，用于系统地评估动态实际环境中的强化学习算法。我们描述了Box o Flows的关键组成部分，并通过一系列实验演示了最新的无模型强化学习算法如何通过简单的奖励规范来合成各种复杂行为。此外，我们通过重用过去的经验，探讨了离线强化学习在数据高效假设测试中的作用。我们相信，从这个初步研究中获得的见解以及像Box o Flows这样的系统的可用性，将支持开发可普遍应用于复杂动态系统的系统化强化学习算法。附加材料和实验视频可在以下链接找到：[URL]

Feb, 2024

通过对深度强化学习（DRL）算法在并行设置中进行优化，提高了非线性活动流控制问题中现有DRL框架的效率，并通过对输入/输出操作的优化实现了高性能计算架构上的线性扩展，从而获得约78%的并行效率和60个CPU核心加速大约47倍的培训过程。

Feb, 2024

通过字典学习和可微分L0正则化，我们提出了一种稀疏、稳健且可解释的参数化偏微分方程控制策略，优于基线的深度神经网络驱动强化学习策略，并能够推导出解释性的优化控制规律的方程，并在参数化Kuramoto-Sivashinsky和对流扩散反应偏微分方程的控制任务中展示了泛化能力。

Mar, 2024

通过Koopman-Based机器学习结构和线性循环自编码网络（LRAN），我们研究了Rayleigh-Bénard对流系统中湍流对流流体流动的简化动力学模型以及其应用于模型预测与控制技术。

May, 2024

控制复杂物理系统的演化是科学和工程中的基本任务。本研究引入了扩散物理系统控制（DiffPhyCon），一种新的方法来解决物理系统控制问题，并通过同时最小化整个轨迹和控制序列上的学得的生成能量函数和预定义控制目标，探索全局并识别近乎最优的控制序列。在1D Burgers方程和二维水母在流体环境中的运动控制中，我们的方法优于广泛应用的经典方法和最先进的深度学习和强化学习方法，并揭示了与流体动力学领域的已知发现一致的有趣的快速关闭-缓慢打开模式。

Jul, 2024