Oct, 2023

思考、行动与询问：开放式互动个性化机器人导航

PDF
TL;DRZero-Shot Object Navigation (ZSON) mainly focuses on following individual instructions to find generic object classes, while Zero-shot Interactive Personalized Object Navigation (ZIPON) introduces Open-woRld Interactive persOnalized Navigation (ORION) framework that uses Large Language Models (LLMs) to navigate to personalized goal objects while engaging in conversations with users, showing significant improvement with interactive agents that can leverage user feedback, but the balance between task completion and the efficiency of navigation and interaction remains challenging.
zero-shot object navigationzsonzero-shot interactive personalized object navigationziponopen-world interactive personalized navigation
发现论文，激发创造
  • VoroNav：基于 Voronoi 的零样本物体导航与大型语言模型

    在家庭机器人领域，Zero-Shot Object Navigation 任务赋予了代理人在陌生环境中灵敏地穿越并定位来自新颖类别的物体而不需要事先明确训练。本文介绍了 VoroNav，一种新颖的语义探索框架，该框架提出了 Reduced Voronoi Graph 从实时构建的语义地图中提取探索路径和计划节点。通过利用拓扑和语义信息，VoroNav 设计基于文本的路径描述和图像，这些描述和图像可以被大型语言模型（LLM）轻松解释。我们的方法通过呈现路径和远视距描述的协同作用来表示环境背景，使 LLM 能够应用常识推理来确定导航的最佳航点。在 HM3D 和 HSSD 数据集上的广泛评估验证了 VoroNav 在成功率和探索效率（HM3D 上的成功率提高了 2.8%，SPL 提高了 3.7%，HSSD 上的成功率提高了 2.6%，SPL 提高了 3.8%）方面超过了现有的 Zero-Shot Object Navigation 基准。此外，引入了评估障碍物避免能力和感知效率的指标进一步证实了我们的方法在 Zero-Shot Object Navigation 规划中实现的改进。

    Jan, 2024

  • LOC-ZSON: 基于语言驱动的物体中心化零样本物体检索和导航

    本文介绍 LOC-ZSON，一种用于复杂场景中物体导航任务的新颖语言驱动的面向物体的图像表示方法。我们提出了一种面向物体的图像表示和对应的损失函数，用于视觉语言模型（VLM）的微调，能够处理复杂的物体级别查询。此外，我们设计了一种基于 LLM 的增强和提示模板，以提高训练过程的稳定性和零样本推理的效果。我们在 Astro 机器人上实施了这种方法，并在模拟和现实世界环境中进行了零样本物体导航。我们展示了我们提出的方法在不同的基准设置下，在文本到图像检索任务中可以实现 1.38-13.38% 的改进。对于物体导航，我们展示了我们的方法在模拟和现实世界中的优势，分别取得了 5% 和 16.67% 的导航成功率的改进。

    May, 2024

  • OpenFMNav: 面向开放式、零样本物体导航的视觉语言基础模型

    我们提出了 OpenFMNav，一种基于开放集对象导航的零样本模型，通过利用大型语言模型和视觉语言模型的推理和泛化能力，能够理解自由形式的人类指令，并在各种环境中进行有效的零样本导航，通过对 HM3D ObjectNav 基准测试的广泛实验，证明了我们方法的有效性，并通过真实机器人演示验证了这种方法对真实环境的开放性和泛化能力。

    Feb, 2024

  • 基于基础模型的视觉与语言能力的行动感知零样本机器人导航

    我们提出了一种基于动作感知的零样本图像与语言导航（ZS-VLN）方法（$A^2$Nav），通过利用基础模型的视觉和语言能力，将复杂的导航指令分解为一系列具有特定动作要求的对象导航子任务，然后学习一个由已收集到的具有不同特征的动作数据集构建的动作感知导航策略，以便按顺序执行这些子任务，从而实现导航指令的完整执行。实验证明，$A^2$Nav 在零样本图像与语言导航方面具有很好的性能，并且在 R2R-Habitat 和 RxR-Habitat 数据集上甚至超过了监督学习方法。

    Aug, 2023

  • 序列无关的多物体导航

    利用深度强化学习模型，基于无序的 actor-critic 框架和适当的奖励规范，提出了一个适用于多目标导航的机器人的算法，通过实验验证了这个方法在实践应用中胜过了预设顺序的方法和当下最先进的单个目标导航的方法。

    May, 2023

  • 基于层次化对象到区域图的对象导航

    本文提出利用分层对象 - 区域图（HOZ）来引导代理在未知环境中进行目标导航的方法，并引入在线学习机制来更新 HOZ 图。实验结果表明，该方法在 AI2-Thor 模拟器上具有有效性和高效性。

    Sep, 2021

  • InstructNav：零封闭的通用指令导航系统在未知环境中

    通过引入动态导航链和价值地图，以及零样本学习的方式，提出了 InstructNav 系统来解决多种导航指令的统一规划，该系统在任务完成上优于以往方法。

    Jun, 2024

  • 一个具有身体的智能代理是否能够找到您的 “猫形杯”？基于 LLM 的零样本目标导航

    本文提出了一种新算法 LGX，采用 “语言驱动、零 - shot 方式” 的方法使机器人导航到一个在以前未被探索的环境中描述的目标对象，利用大型语言模型（LLMs）的能力将环境的语义上下文隐式知识映射为机器人运动规划的连续输入来做出导航决策，并同时利用经过预训练的视觉语言接地模型进行一般化目标对象检测，在 RoboTHOR 上实现了最新的零 - shot 目标导航结果，成功率（SR）比 OWL CoW 的当前基线提高了超过 27%，同时，我们还研究了利用 LLMs 进行机器人导航的用途，并分析了影响模型输出的各种语义因素，最后通过真实世界实验展示了 LGX 方法的优越性能，可有效导航和检测视觉上独特的对象。

    Mar, 2023

  • DOZE: 动态环境中开放词汇零射击物体导航的数据集

    零射对象导航 (ZSON) 需要在陌生环境中自主定位和接近看不见的物体，它是体验智能领域中的一项特别具有挑战性的任务。我们提出了一个在动态环境中进行开放词汇的零射对象导航数据集 (DOZE)，包括十个高保真度的 3D 场景及超过 18,000 个任务，旨在模拟复杂的实际情景。通过在 DOZE 场景中引入多个移动人形障碍物、大量的开放词汇物体、具有多样属性的物体和有价值的文本提示，我们解决了现有数据集在动态环境中的冲突检测方面的局限性。我们在 DOZE 上测试了四种有代表性的 ZSON 方法，揭示了现存方法在导航效率、安全性和物体识别准确性方面还有很大改进空间。

    Feb, 2024

  • 基于潜力函数的无交互学习的目标导航

    该研究提出了基于无交互学习的潜在函数的模块化方法，旨在解决物体目标导航的计算资源和时间成本问题。通过训练预测两个互补潜在函数的网络，方法可以在不与环境交互的情况下决定何时寻找看不见的物体，进而实现 ObjectGoal 导航，证明该方法能够实现 ObjectGoal 导航的最新状态，并且训练成本可以降低多达 1600 倍。

    Jan, 2022