基于模型预测强化学习的内河水道安全感知自主路径规划

Nov, 2023

基于模型预测强化学习的内河水道安全感知自主路径规划

Safety Aware Autonomous Path Planning Using Model Predictive Reinforcement Learning for Inland Waterways

Astrid Vanneste, Simon Vanneste, Olivier Vasseur, Robin Janssens, Mattias Billast...

TL;DR最近，由于将汽车和卡车远离城市中心的趋势，对城市水路自主航运的兴趣显著增加。本文提出了一种基于强化学习的新型路径规划方法，称为模型预测强化学习（MPRL）。MPRL 通过计算一系列船只需遵循的航点来规划路径，将环境表示为占用栅格地图，可以处理任何形状的水道和任意数量和形状的障碍物。我们在两个场景上验证了我们的方法，并将其与基于 Frenet 框架的路径规划和基于邻近策略优化（PPO）代理的路径规划进行了比较。我们的结果表明，在两个测试场景中，MPRL 的性能优于两个基准方法。基于 PPO 的方法在任一场景中均未能达到目标，而基于 Frenet 框架的方法在带有障碍物角落的场景中失败。MPRL 能够在两个测试场景中安全地（无碰撞地）导航到目标。

Abstract

In recent years, interest in autonomous shipping in urban waterways has increased significantly due to the trend of keeping cars and trucks out of city centers. Classical approaches such as Frenet frame based pla

autonomous shipping path planning reinforcement learning model predictive reinforcement learning urban waterways

发现论文，激发创造

内河船舶的二级强化学习

本文提出了一个基于深度强化学习的逼真的模块化框架，用于控制内陆水路上的自主表面船舶（ASV）。该框架包括两个层次：高级本地路径规划（LPP）单元和低级路径跟踪（PF）单元，每个单元都包含一个 DRL 代理。其中，LPP 代理负责考虑附近船只、交通规则和水路几何形状来规划路径，我们利用了最近提出的空间时间循环神经网络架构，在连续行动空间下进行转移。PF 代理负责低级执行器控制，同时考虑浅水对海船的影响以及环境力量如风、浪和洋流。两个代理在仿真环境中进行了全面验证，以德国北部的下艾尔伯为案例，使用真实的 AIS 轨迹来模拟其他船只的行为。

Jul, 2023

基于深度强化学习的预测性机动规划（PMP-DRL）用于舒适和安全的自动驾驶

本文提出了一种使用深度强化学习进行的预测机动规划模型，该模型结合了预测模型和 RL 代理以实现舒适和安全的机动规划，通过使用历史驾驶数据训练预测模型，将周围车辆的过去和预测的未来位置嵌入到上下文感知的网格地图中进行学习，同时，RL 代理学习基于时空上下文信息进行机动规划，该模型在公开可用的 NGSIM US101 和 I80 数据集中进行了性能评估。

Jun, 2023

基于模型的强化学习技术的自主港口导航与测距传感器

该研究提出了一种基于机器学习的导航算法，能够在各种复杂港口情况下通过距离传感器观察环境来导航内陆船只。结果表明，该算法优于常用的动态窗口方法和基准无模型强化学习算法，从而实现了船只在复杂港口情况下的自主导航。

Nov, 2023

基于引导强化学习的河流鲁棒路径跟踪

本研究开发了一种基于深度强化学习的自主航行船舶导航和控制方案，结合一个先进的 Q-learning 算法和多功能训练环境生成器，实现了一个稳健、精确的舵控器。通过在下莱茵河和中莱茵河的真实航行数据上对所提出的方法进行路径跟踪比较，表明该算法能够在从未见过的情况下有效地证明其普适性，同时能够达到高精度的导航控制。

Mar, 2023

采用强化学习的路径生成与细化运动控制的机器人导航

本文提出了一种基于强化学习的路径生成（RL-PG）方法，以用于移动机器人导航，无需事先探索未知环境。该方法采用深度马尔可夫模型优化的 RL 算法生成多个预测路径点，通过运动微调模块 fine-tuning 机器人的运动以确保跟踪预测点时的安全。通过在模拟和物理平台上的部署，证明本文提出的方法有效并且其成功率更高于 DWA-RL 和传统的 APF 导航方法。

Oct, 2022

PRM-RL: 结合强化学习与采样规划的长程机器人导航任务

PRM-RL 是一种利用采样路径规划结合强化学习实现远程导航的分层方法，其中 RL 代理通过学习短距离点到点导航策略，采用面向特征和深度神经网络及 PRMs 进行构建，并通过采样计划器提供的规划路径实现机器人的控制。PRM-RL 的应用结果表明，在室内和城市环境下，比起单独使用 RL 代理或传统的采样路径规划方法，PRM-RL 实现了任务完成度的显著提升，在噪声传感器条件下成功完成长达 215 米的轨迹，且实现了对 1,000 米长的空中货运的无违约任务达成。

Oct, 2017

安全海洋导航的模块化控制架构：强化学习和预测性安全过滤器

自主系统安全性挑战，预测性安全过滤器在航海导航中与强化学习结合，保证了安全性，同时提高了学习速率和性能。

Dec, 2023

应用 MPC - 强化学习方法的无人机路径规划考虑避障

本文提出一种基于深度学习算法的无人机航迹规划方法，采用 LSTM-MPC 作为决策策略，并结合预测池来提高系统鲁棒性和效率，同时通过数值仿真实验验证了该方法的有效性。

Feb, 2023

基于强化学习的自主机器人导航研究

基于强化学习的自主导航方法，采用深度 Q 网络（DQN）和近端策略优化（PPO）模型，通过机器人与环境的连续交互和实时反馈奖励信号，对路径规划和决策过程进行优化，提高机器人在未知环境中的导航能力和自适应性。

Jul, 2024

水下导航：深度强化学习的挑战性基准

深度强化学习在应用于真实世界的机器人系统方面具有令人兴奋和有希望的前景。我们提出了一个基于最新的游戏引擎和深度强化学习整合的新的水下导航基准环境，以解决在不可预测和非稳态环境中训练过程中的挑战。我们使用先进的训练技术对这个基准环境进行了广泛的实证评估，取得了有希望的结果。

May, 2024