MultiON: 使用多对象导航基准测试语义地图记忆
本文研究了多目标导航任务,通过四个模块(物体检测、语义地图构建、环境探索和导航)来解决此任务。结果表明,在 MultiON 任务中,采用 PointGoal 导航模型优于从头开始学习导航。与分析路径规划相比,基于 Agent 的导航模块表现更好。同时也探讨了探索策略并发现随机探索策略显著优于更高级的探索方法。我们还创建了 MultiON 2.0 数据集作为我们方法的测试平台。
Apr, 2023
利用深度强化学习模型,基于无序的 actor-critic 框架和适当的奖励规范,提出了一个适用于多目标导航的机器人的算法,通过实验验证了这个方法在实践应用中胜过了预设顺序的方法和当下最先进的单个目标导航的方法。
May, 2023
我们提出了一种混合导航方法,将多对象导航(Multi-ON)任务分解为两个不同的技能:(1)使用经典 SLAM 和符号规划器处理航路点导航,而(2)使用结合监督学习和强化学习训练的深度神经网络处理探索、语义建图和目标检索,我们展示了该方法在模拟和真实环境中相对于端到端方法的优势,并超越了该任务的最先进技术。
Jan, 2024
MemoNav 是一种新型的内存模型,利用工作内存类似的流水线来提高图像目标导航的性能,通过三种类型的导航内存以及场景特征的学习和利用,使得代理能够学习并利用与目标相关的场景特征在拓扑图中进行高效导航,实验证明 MemoNav 在吉布森和 Matterport3D 场景的多目标任务中显著优于先前的方法,定性结果进一步说明 MemoNav 规划更高效的路径。
Feb, 2024
使用学习方法的视觉对象导航是移动机器人的关键任务之一,本文介绍了一种在与室内环境进行混合体互动过程中形成的场景语义地图的新表示方法,该方法基于神经网络通过反向或正向图像序列上的预测融合损失值的反向传播来调整分割模型的权重。我们将此表示方法实现到一种名为 SkillTron 的完整导航方法中,该方法可以根据强化学习和基于地图的经典规划方法从端到端策略中选择机器人技能。所提出的方法能够为机器人探索制定中间目标和对象导航制定最终目标,我们在 Habitat 环境中对所提出的方法进行了大量实验,在导航质量指标方面表现出明显的优势,与现有技术方法相比。所开发的代码和使用的自定义数据集可以在 github.com/AIRI-Institute/skill-fusion 上公开获取。
Nov, 2023
本文提出了一种基于多智能体协作的视觉语义导航方法,通过分层决策框架、场景先验知识和通信机制,可以使多个机器人协同完成探索任务,并在测试实验中表现出与单一智能体模型相比更高的准确性和效率。
Sep, 2021
本研究针对三维室内环境目标物体导航,提出了一种基于强化学习方法的 Object Memory Transformer (OMT). 通过本方法在 AI2-THOR 数据集上的实验结果表明,OMT 能够优于以往方法,高效地导航以及实现目标。
Mar, 2022
本文提出了一种通过主动学习生成语义地图的框架,在未知环境下实现目标物体导航,通过在未观察区域内的语义类别的不确定性进行决策,实现了对场景中语义优先级的学习,并在 Matterport3D 数据库上验证了改进的导航效果。
Jun, 2021
提出一个名为 MO-VLN 的基准测试系统,用于测试机器人智能导航的效果和泛化能力。该系统包含三个逼真的 3D 场景,并涉及多个复杂的非常见物体,任务包括目标定位和高级指令追踪等。
Jun, 2023