基于记忆增强的强化学习在图像目标导航中的应用
MemoNav 是一种新型的内存模型,利用工作内存类似的流水线来提高图像目标导航的性能,通过三种类型的导航内存以及场景特征的学习和利用,使得代理能够学习并利用与目标相关的场景特征在拓扑图中进行高效导航,实验证明 MemoNav 在吉布森和 Matterport3D 场景的多目标任务中显著优于先前的方法,定性结果进一步说明 MemoNav 规划更高效的路径。
Feb, 2024
提出了一种无需外部监督或奖励的新方法,通过三个阶段,学习从图像输入进行导航:学习视角的良好表示,然后使用内存进行探索,最后通过设置自己的目标来学习导航。该模型仅使用内在奖励进行培训,因此适用于任何具有图像观察的环境。通过使用 RGB 输入训练代理在具有挑战性的 Gibson 数据集的逼真环境中导航的好处。
Apr, 2020
本文研究图像目标导航问题,提出了一种基于拓扑表示法、语义特征和监督学习算法的解决方案,在视觉和物理仿真实验中部署该算法,与现有方法相比,在长时间任务中呈现出 50%以上的相对提高。
May, 2020
本研究提出了一种新的方法,通过嵌入传统同时定位与建图(SLAM)的程序到软的注意力机制中,从而使得机器代理从传感器数据学习全局地图的表征,在无人环境中,可以通过深度神经网络进化具有类似 SLAM 的行为和强化学习代理,成功地在必须保持长期记忆的新环境中进行探索。
Jun, 2017
提出了一种名为 SLING 的新方法,致力于通过使用神经描述符和简单而有效的切换来改进现有的图像目标导航系统,在图像目标导航基准测试中取得了很大的成功,从而将成功率从 45%提高到 55%。
Nov, 2022
利用生成式 Transformer 模型,通过联合建模图像目标、摄像头观察和机器人过去的动作来预测未来的动作,从而实现对于长时间跨度的图像目标导航任务的稳健的、无需与环境实时交互的目标导向导航策略。
May, 2024
本文介绍一种新的方法来逐步学习未知环境的抽象模型,并展示了一个智能体如何重复使用学习到的模型来解决目标导航任务,这个抽象模型是一个有限状态机,通过图像分割和 Taskonomy 模型库的利用可以把 RGB-D 图像这样的高维感知数据抽象成环境的不同状态,而通过实施动作、观察所到达的状态并更新抽象模型来完成了它的学习。我们的研究结果表明,利用所学的抽象模型可以提高目标导航的性能。
Mar, 2022
本研究介绍了一个可以在仿真和现实实现物体到达任务的系统,该系统采用模块化方法解决了探索、目标识别、目标定位和本地导航等子任务,无需任何微调,实现了较高的成功率,并在移动机器人平台上展示了有效的实际性能。
Apr, 2023
通过使用新型的 Goal-guided Transformer-enabled reinforcement learning 方法,将目标状态作为场景编码器的输入来引导场景表示与目标信息相耦合,从而有效实现自主导航。该方法具有比其他现有基线更高的数据效率、性能、鲁棒性和从仿真到真实世界的泛化能力。
Jan, 2023