本文提出了一个基于深度强化学习的逼真的模块化框架，用于控制内陆水路上的自主表面船舶（ASV）。该框架包括两个层次：高级本地路径规划（LPP）单元和低级路径跟踪（PF）单元，每个单元都包含一个 DRL 代理。其中，LPP 代理负责考虑附近船只、交通规则和水路几何形状来规划路径，我们利用了最近提出的空间时间循环神经网络架构，在连续行动空间下进行转移。PF 代理负责低级执行器控制，同时考虑浅水对海船的影响以及环境力量如风、浪和洋流。两个代理在仿真环境中进行了全面验证，以德国北部的下艾尔伯为案例，使用真实的 AIS 轨迹来模拟其他船只的行为。

Jul, 2023

深度强化学习在应用于真实世界的机器人系统方面具有令人兴奋和有希望的前景。我们提出了一个基于最新的游戏引擎和深度强化学习整合的新的水下导航基准环境，以解决在不可预测和非稳态环境中训练过程中的挑战。我们使用先进的训练技术对这个基准环境进行了广泛的实证评估，取得了有希望的结果。

May, 2024

最近，由于将汽车和卡车远离城市中心的趋势，对城市水路自主航运的兴趣显著增加。本文提出了一种基于强化学习的新型路径规划方法，称为模型预测强化学习（MPRL）。MPRL 通过计算一系列船只需遵循的航点来规划路径，将环境表示为占用栅格地图，可以处理任何形状的水道和任意数量和形状的障碍物。我们在两个场景上验证了我们的方法，并将其与基于 Frenet 框架的路径规划和基于邻近策略优化（PPO）代理的路径规划进行了比较。我们的结果表明，在两个测试场景中，MPRL 的性能优于两个基准方法。基于 PPO 的方法在任一场景中均未能达到目标，而基于 Frenet 框架的方法在带有障碍物角落的场景中失败。MPRL 能够在两个测试场景中安全地（无碰撞地）导航到目标。

Nov, 2023

该研究提出了一种基于机器学习的导航算法，能够在各种复杂港口情况下通过距离传感器观察环境来导航内陆船只。结果表明，该算法优于常用的动态窗口方法和基准无模型强化学习算法，从而实现了船只在复杂港口情况下的自主导航。

Nov, 2023

本研究侧重于以无人表面船舶 (UAV) 数字孪生技术开发真实实验的虚拟海洋环境所面临的主要挑战和问题，介绍了构建虚拟世界的关键特征，并考虑使用强化学习代理进行自主导航和控制，以及如何在模拟控制和感知策略方面使用强化学习的真正实施问题。我们提出了基于真实航行机器人船只的功能数字孪生建模、实施步骤和挑战，该应用对基于强化学习的导航算法的实际船只应用具有即时的指导作用。

Jan, 2024

本文介绍了如何使用强化学习方法和深度 Q 网络等算法，使得机器人可以在未知环境中进行自主导航的任务。我们还利用模拟环境对机器人代理的行为和性能进行了验证和分析。

Feb, 2023

该研究提出了一种基于深度强化学习的新型套件，用于控制模拟和真实环境中的浮动平台，在动态和不可预测的条件下实现精确操纵，并具备鲁棒性、适应性和从模拟到现实的良好迁移能力。

Oct, 2023

基于强化学习的自主导航方法，采用深度 Q 网络（DQN）和近端策略优化（PPO）模型，通过机器人与环境的连续交互和实时反馈奖励信号，对路径规划和决策过程进行优化，提高机器人在未知环境中的导航能力和自适应性。

Jul, 2024

本文介绍了一种基于最新的 actor-critic 算法的新方法，以解决 HUAUV 的导航和介质转换问题。我们展示了一种双重评论家 Deep-RL 的方法，通过仅使用范围数据和相对定位来提高 HUAUV 的导航性能。我们的 Deep-RL 方法在不同模拟场景中实现了学习的坚实泛化，表现出更好的导航和转换能力，优于以前的方法。

Sep, 2022

提出一种异步多阶段深度强化学习的方法（AMS-DRL）来训练对抗神经网络，以应对多个追赶者的攻击并快速适应其行为，确保无人机避免攻击并达到目标。该方法通过保证博弈论分析中的纳什均衡保证收敛性，并在大量模拟中进行了评估，展示其胜过基线的导航成功率。同时，实施了实物实验以验证训练出的策略在实时飞行中的有效性。

Apr, 2023