Feb, 2024

通过深度强化学习实现现实世界流体引导刚体控制

PDF
TL;DR近期增加在强化学习实际应用方面的研究，依赖于能够在规模上准确模拟系统。然而，液体动力学系统等领域展示了复杂的动态现象，难以以高积分速率进行模拟，限制了现代深度强化学习算法在昂贵或安全关键硬件上的直接应用。在本研究中，我们引入了 “Box o Flows”，这是一个新颖的台面实验控制系统，用于系统地评估动态实际环境中的强化学习算法。我们描述了 Box o Flows 的关键组成部分，并通过一系列实验演示了最新的无模型强化学习算法如何通过简单的奖励规范来合成各种复杂行为。此外，我们通过重用过去的经验，探讨了离线强化学习在数据高效假设测试中的作用。我们相信，从这个初步研究中获得的见解以及像 Box o Flows 这样的系统的可用性，将支持开发可普遍应用于复杂动态系统的系统化强化学习算法。附加材料和实验视频可在以下链接找到：[URL]
reinforcement learningreal-world applicationsdynamic systemsexperimental control systemmodel-free rl algorithms
发现论文，激发创造
  • 基于模型的深度强化学习加速流体模拟的学习

    深度强化学习在闭环流控问题中应用模拟环境进行优化，通过模型和流模拟样本相互交替训练，有效减少流控应用中的计算时间，尤其对于复杂流模拟有着潜在的巨大节约。

    Feb, 2024

  • 三维圆柱体的主动流控制及深度强化学习

    该研究首次成功地利用多个独立控制的零净质量通量合成喷射进行主动流量控制，以降低阻力系数。研究使用了基于深度强化学习框架的方法，将计算流体动力学求解器与代理程序结合，实现了多代理强化学习框架，能够利用局部不变性、适应不同几何结构、进行传递学习和交叉应用代理，显著加快了训练速度。通过应用基于深度强化学习的控制策略，在三种不同配置的问题中实现了显著的阻力降低。

    Sep, 2023

  • 通过深度强化学习控制流体弹球上的水动力力量

    本文使用深度强化学习算法构建了一个实时反馈策略，用于实现流体弹球系统的流体动力学力控制和追踪，结果表明该策略在复杂流体动力学问题上的控制决策效果理想，可为其他复杂流体动力学问题的高效活动控制策略提供探索。

    Apr, 2023

  • 经过深度强化学习训练的人工神经网络发现主动流控制策略

    本研究首次应用了一个通过深度强化学习进行训练的人工神经网络来执行主动流控，该网络成功地在研究卡曼涡街时减少了大约 8％的阻力，并使用小的质量流速。

    Aug, 2018

  • 玻璃流控系统中显示转移机器人的强化学习：基于物理仿真的方法

    通过深度强化学习，提出了一种在显示器制造中使用传输机器人的流控系统的优化调度方法，并通过建立虚拟环境和训练强化学习模型，验证了其可行性。

    Oct, 2023

  • 通过多环境方法加速流控制的深度强化学习策略

    使用深度强化学习（DRL）进行流控制的方法现已提出，文章则针对使用計算流体动力学（CFD）数据训练 DRL 时面临的速度瓶颈进行改进，并提出两种方法以加速其运行：计算流体动力学本身的并行化以及 DRL 算法的并行处理。研究表明，这两种方法的组合可以实现对更复杂流体力学问题的 DRL 研究。

    Jun, 2019

  • 通过深度强化学习训练的人工神经网络，在一系列雷诺数范围内实现强大的主动流控制

    本文研究利用深度强化学习的 PPO 方法对不同雷诺数下的计算流体动力学模拟进行主动流控，成功地减小了波动和减小了阻力。

    Apr, 2020

  • FluidLab：可微流体环境用于基准测试复杂流体操作

    本文介绍了 FluidLab，一个具有多样的复杂流体动力学操作任务的模拟环境，包括固体和流体之间的相互作用以及多个流体之间的相互作用。该环境使用可微物理模拟器 FluidEngine，在非凸和非平滑流体系统的优化问题中通过物理的可微性展示出可行的解决方案，并通过在真实世界中部署优化后的轨迹来证明合理的模拟到现实的转移。

    Mar, 2023

  • 基于并行引导策略的深度强化学习在连续流控制应用中的研究

    本论文介绍了一种基于深度强化学习的数值流控制方法，提出了一种在保持更新策略性的同时，在分布式环境中检索部分轨迹缓冲区来增强控制模型的并行模式。

    Apr, 2023

  • DRIFT: 智能浮动平台轨迹的深度强化学习

    该研究提出了一种基于深度强化学习的新型套件，用于控制模拟和真实环境中的浮动平台，在动态和不可预测的条件下实现精确操纵，并具备鲁棒性、适应性和从模拟到现实的良好迁移能力。

    Oct, 2023