基于体素化模型的深度强化学习提升车辆空气动力学性能

May, 2024

基于体素化模型的深度强化学习提升车辆空气动力学性能

Enhancing Vehicle Aerodynamics with Deep Reinforcement Learning in Voxelised Models

Jignesh Patel, Yannis Spyridis, Vasileios Argyriou

TL;DR本文介绍了一种使用深度强化学习在汽车设计中优化空气动力学的新方法，使用体素化模型来离散化车辆几何形状，通过训练深度强化学习代理网络来优化车辆的设计参数以获得更好的空气动力性能。实验结果表明该方法在实现显著的空气动力性能方面具有有效性和高效性，为改善车辆性能、燃油效率和环境可持续性提供了启示，适用于解决复杂的汽车工程中的空气动力学设计优化问题。

Abstract

aerodynamic design optimisation plays a crucial role in improving the performance and efficiency of automotive vehicles. This paper presents a novel approach for aerodynamic optimisation in car design using deep reinforcement learning (DRL). Traditional optimisation methods often face

aerodynamic design optimisation deep reinforcement learning voxelised models proximal policy optimisation automotive engineering

发现论文，激发创造

车辆轨迹控制的高效数据深度强化学习

采用数据高效的深度强化学习方法研究车辆轨迹控制，发现新的模型推理方法并将动力学预测和车辆定位分离，比传统方法更高效地学习控制策略。

Nov, 2023

自动驾驶车辆的强化学习策略的定量与定性评估

优化自动驾驶车辆的交通动态是至关重要的，本文通过采用强化学习算法 —— 近端策略优化（PPO），得出用于最小化交通拥堵和污染的自动驾驶车辆选择的新方法，并通过实证分析证明该方法可以降低时间和污染水平。

Sep, 2023

强化学习在车载系统中的统一自动控制

本文提出了一种简化的车辆微观模拟方法，并使用深度强化学习优化了具有不同车辆组成的六个交通系统的控制策略，发现了类似于波浪消减、交通信号和匝道计量等的多种新行为，并分析了这些行为以获得可解释的控制策略。

Jul, 2022

通过深度强化学习训练的人工神经网络，在一系列雷诺数范围内实现强大的主动流控制

本文研究利用深度强化学习的 PPO 方法对不同雷诺数下的计算流体动力学模拟进行主动流控，成功地减小了波动和减小了阻力。

Apr, 2020

深度强化学习自动驾驶决策的揭秘

自适应驾驶决策中，深度强化学习模型的黑盒特性限制了实际应用，因此本研究工作关注一种基于注意力机制的可解释深度强化学习框架，并使用连续近端策略优化算法作为基准模型，在开源自适应驾驶仿真环境中加入了多头注意力机制。通过分析技术讨论模型的可解释性和因果关系，发现模型的第一个头部编码了邻近车辆的位置，而第二个头部则专注于领导车辆。此外，自车的动作在时空上受到目标车道上车辆的因果依赖。这些发现可帮助从业人员解读深度强化学习算法的结果。

Mar, 2024

交通优化中的隐式感知：先进的深度强化学习技术

通过采用深度强化学习从事自主驾驶车辆上的车辆跟随和变道模型，本论文探讨了解决构成道路阻塞的突发情况，提出了基于 Markov 决策过程和 MEC 辅助架构的综合决策控制系统，并通过 SUMO 模拟器和 OPENAI GYM 评估了该模型的性能，结果显示使用 ε-greedy 策略进行训练的 DQN 代理明显优于使用 Boltzmann 策略进行训练的代理。

Sep, 2023

基于深度强化学习的 CARLA 模拟自动驾驶

本论文基于强化学习（RL）与 Deep Q-Learning 框架以及 CARLA 仿真环境，探索了一种实现自动驾驶车辆在高速行驶时保持车道并避让其他车辆的策略，以提高交通安全性。

Jun, 2023

针对各种模拟驾驶操作的深度强化学习自动驾驶的全面培训和评估

本研究通过实现、评估和比较两种深度强化学习算法（Deep Q-networks 和 Trust Region Policy Optimization）来训练自动驾驶车辆，以及开发和应用奖励函数，并在基于模拟环境的高速公路自动驾驶训练平台中进行评估，结果显示 TRPO 算法在大多数情况下以及将多种驾驶演练和多种路况情况集成于一体的 ComplexRoads 训练环境中效果最佳。

Jun, 2023

自主驾驶的深度强化学习

本研究旨在利用深度确定性策略梯度算法来应对自主驾驶中复杂的状态和行动空间，我们选择 The Open Racing Car Simulator (TORCS) 来模拟实验环境，并选择适宜的传感器信息设计奖励机制并建立 DPPG 模型，实验结果表明模型在多种场景下均取得了良好的效果。

Nov, 2018

自主 Formula SAE 车辆的局部路径跟踪的深度强化学习

使用深度强化学习（DRL）和逆强化学习（IRL）将局部观察到的锥体位置映射到期望的转向角度以进行赛道跟踪。两种先进算法，软演员批评（SAC）和对抗逆强化学习（AIRL），在代表性模拟中训练模型。在仿真和现实世界中进行的测试表明，这两种算法都可以成功训练用于局部路径跟踪的模型。提出了未来工作的建议，以使这些模型能够适用于完整的 Formula:SAE 车辆。

Jan, 2024