导航至特定图像所指示的对象
在未知环境中,为了导航到目标图像中指定的对象,我们提出了一种人工智能导航框架 IEVE,它通过模拟人类的行为,在不同的情况下帮助代理人在探索、验证和利用行为之间进行积极切换,从而识别并导航至目标对象。在挑战性的 HabitatMatterport 3D semantic 数据集上,我们的方法优于现有的最先进方法,在经典分割模型(0.684 vs. 0.561 成功率)或强大模型(0.702 vs. 0.561 成功率)方面。
Feb, 2024
通过使用预设任务和双编码器模型,本研究针对视觉导航中的视觉对应问题和目标检测进行了改进,取得了显著进展并在两个基准测试中达到了最佳性能。
Sep, 2023
提出了一种名为 SLING 的新方法,致力于通过使用神经描述符和简单而有效的切换来改进现有的图像目标导航系统,在图像目标导航基准测试中取得了很大的成功,从而将成功率从 45%提高到 55%。
Nov, 2022
我们提出了一种优先语义学习(PSL)方法,通过引入语义增强的 PSL 代理和优先语义训练策略来提高导航代理的语义理解能力,并设计了语义扩展推理方案以保持与训练相同的目标语义粒度级别。此外,针对流行的 HM3D 环境,我们提出了一个实例导航(InstanceNav)任务,需要根据详细描述前往特定的对象实例,与仅通过目标类别定义目标的对象导航(ObjectNav)任务不同。我们的 PSL 代理在零样本 ObjectNav 的成功率上超过了先前的最优结果 66%,并且在新的 InstanceNav 任务上也表现优越。代码将在此 https 网址上发布:science/r/PSL/。
Mar, 2024
该研究提出了一种基于记忆增强的注意力机制模型,利用序列记忆学习图像目标导航,模型表现优异,创造了新的最优结果。与相关工作不同的是,仅使用 RGB 图像输入,无需姿态 / 深度传感器等额外信息。
Jan, 2021
利用生成式 Transformer 模型,通过联合建模图像目标、摄像头观察和机器人过去的动作来预测未来的动作,从而实现对于长时间跨度的图像目标导航任务的稳健的、无需与环境实时交互的目标导向导航策略。
May, 2024
该研究提出了 Goal-Oriented Semantic Exploration 系统,通过构建基于目标对象类别的情节语义地图来有效探索环境,该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。
Jul, 2020
研究重新访问 Object-Goal Navigation (ObjectNav) 问题,对任务进行了定义,提出了对评估标准、Agent 的具体参数、以及任务环境等细节的建议,并提供了在 Embodied AI workshop at CVPR 2020 上的具体实例。
Jun, 2020
提出了一种名为 Few-shot Cross-quality Instance-aware Adaptation(CrossIA)的新方法,该方法利用对比学习和图像增强技术来解决移动机器人在低质量图像和高质量查询图像之间的领域差距,从而提高实例特定图像目标导航的任务成功率。
Apr, 2024
本文提出了一种基于二个子策略的框架,即 角落导向探索策略 和 类别感知识别策略,用于提高基于 3D 场景表示的目标导航能力,从而大大改善 ObjectNav 的性能,并在 Matterport3D 和 Gibson 数据集上实现最佳表现,同时训练时的计算成本较其他模块化方法降低了 (高达 30 倍)。
Dec, 2022