内河船舶的二级强化学习

Jul, 2023

2-Level Reinforcement Learning for Ships on Inland Waterways

Martin Waltz, Niklas Paulig, Ostap Okhrin

TL;DR本文提出了一个基于深度强化学习的逼真的模块化框架，用于控制内陆水路上的自主表面船舶（ASV）。该框架包括两个层次：高级本地路径规划（LPP）单元和低级路径跟踪（PF）单元，每个单元都包含一个 DRL 代理。其中，LPP 代理负责考虑附近船只、交通规则和水路几何形状来规划路径，我们利用了最近提出的空间时间循环神经网络架构，在连续行动空间下进行转移。PF 代理负责低级执行器控制，同时考虑浅水对海船的影响以及环境力量如风、浪和洋流。两个代理在仿真环境中进行了全面验证，以德国北部的下艾尔伯为案例，使用真实的 AIS 轨迹来模拟其他船只的行为。

Abstract

This paper proposes a realistic modularized framework for controlling autonomous surface vehicles (ASVs) on inland waterways (IWs) based on deep reinforcement learning (DRL). The framework comprises two levels: a

autonomous surface vehicles inland waterways deep reinforcement learning path planning actuator control

发现论文，激发创造

基于引导强化学习的河流鲁棒路径跟踪

本研究开发了一种基于深度强化学习的自主航行船舶导航和控制方案，结合一个先进的 Q-learning 算法和多功能训练环境生成器，实现了一个稳健、精确的舵控器。通过在下莱茵河和中莱茵河的真实航行数据上对所提出的方法进行路径跟踪比较，表明该算法能够在从未见过的情况下有效地证明其普适性，同时能够达到高精度的导航控制。

Mar, 2023

基于模型预测强化学习的内河水道安全感知自主路径规划

最近，由于将汽车和卡车远离城市中心的趋势，对城市水路自主航运的兴趣显著增加。本文提出了一种基于强化学习的新型路径规划方法，称为模型预测强化学习（MPRL）。MPRL 通过计算一系列船只需遵循的航点来规划路径，将环境表示为占用栅格地图，可以处理任何形状的水道和任意数量和形状的障碍物。我们在两个场景上验证了我们的方法，并将其与基于 Frenet 框架的路径规划和基于邻近策略优化（PPO）代理的路径规划进行了比较。我们的结果表明，在两个测试场景中，MPRL 的性能优于两个基准方法。基于 PPO 的方法在任一场景中均未能达到目标，而基于 Frenet 框架的方法在带有障碍物角落的场景中失败。MPRL 能够在两个测试场景中安全地（无碰撞地）导航到目标。

Nov, 2023

水下导航：深度强化学习的挑战性基准

深度强化学习在应用于真实世界的机器人系统方面具有令人兴奋和有希望的前景。我们提出了一个基于最新的游戏引擎和深度强化学习整合的新的水下导航基准环境，以解决在不可预测和非稳态环境中训练过程中的挑战。我们使用先进的训练技术对这个基准环境进行了广泛的实证评估，取得了有希望的结果。

May, 2024

自主 Formula SAE 车辆的局部路径跟踪的深度强化学习

使用深度强化学习（DRL）和逆强化学习（IRL）将局部观察到的锥体位置映射到期望的转向角度以进行赛道跟踪。两种先进算法，软演员批评（SAC）和对抗逆强化学习（AIRL），在代表性模拟中训练模型。在仿真和现实世界中进行的测试表明，这两种算法都可以成功训练用于局部路径跟踪的模型。提出了未来工作的建议，以使这些模型能够适用于完整的 Formula:SAE 车辆。

Jan, 2024

强化学习机器人帆船：模拟器与初步结果

本研究侧重于以无人表面船舶 (UAV) 数字孪生技术开发真实实验的虚拟海洋环境所面临的主要挑战和问题，介绍了构建虚拟世界的关键特征，并考虑使用强化学习代理进行自主导航和控制，以及如何在模拟控制和感知策略方面使用强化学习的真正实施问题。我们提出了基于真实航行机器人船只的功能数字孪生建模、实施步骤和挑战，该应用对基于强化学习的导航算法的实际船只应用具有即时的指导作用。

Jan, 2024

自主车辆运动规划深度强化学习调查

本文研究了在自动驾驶车辆领域中，传感器技术、通信、安全、人工智能、机器学习、路线规划等多方面的应用，重点阐述了一种基于深度强化学习的层次运动规划方法，并以车跟、车道保持、轨迹跟踪、融合和交通压力等不同场景的自动驾驶为例，总结了现有解决方案的优缺点并提出未来研究方向和挑战。

Jan, 2020

优化鱼鳍控制下推力性能的异步并行强化学习

通过使用强化学习算法，并结合流体 - 结构相互作用环境，发现鱼鳍射线控制策略的最佳方法，以实现卓越的推进性能。

Jan, 2024

海洋环境下自主水面船深度学习调查

本文介绍了 Autonomous Surface Vehicles (ASV) 的现状和使用，重点探讨了 ASV 与 Deep Learning 方法的实现，以及其在海事操作中的挑战和未来研究方向。

Oct, 2022

混合自主车辆交通的模块化学习框架：Flow

本文研究使用深度强化学习模拟交通动态，模块化学习框架可以提高交通效率并可适应实际网络的复杂情况，单一通道的小型神经网络控制法可以在不同车流情况下消除交通阻塞。

Oct, 2017

安全海洋导航的模块化控制架构：强化学习和预测性安全过滤器

自主系统安全性挑战，预测性安全过滤器在航海导航中与强化学习结合，保证了安全性，同时提高了学习速率和性能。

Dec, 2023