Feb, 2024

DOZE: 动态环境中开放词汇零射击物体导航的数据集

PDF
TL;DR零射对象导航 (ZSON) 需要在陌生环境中自主定位和接近看不见的物体，它是体验智能领域中的一项特别具有挑战性的任务。我们提出了一个在动态环境中进行开放词汇的零射对象导航数据集 (DOZE)，包括十个高保真度的 3D 场景及超过 18,000 个任务，旨在模拟复杂的实际情景。通过在 DOZE 场景中引入多个移动人形障碍物、大量的开放词汇物体、具有多样属性的物体和有价值的文本提示，我们解决了现有数据集在动态环境中的冲突检测方面的局限性。我们在 DOZE 上测试了四种有代表性的 ZSON 方法，揭示了现存方法在导航效率、安全性和物体识别准确性方面还有很大改进空间。
zero-shot object navigationembodied aidozedynamic environmentscollision avoidance
发现论文，激发创造
  • Zenseact 开放数据集：一种用于自动驾驶的大规模和多样化的多模态数据集

    Zenseact Open Dataset (ZOD) 是一种大规模且多样化的自动驾驶数据集，采集了两年时间在欧洲各地的数据，涵盖了比现有数据集多 9 倍的区域，并支持长距离感知和多任务学习。该数据集是通过各种帧、序列和驱动器收集的，为传感器融合、本地化和建图提供了支持。

    May, 2023

  • LOC-ZSON: 基于语言驱动的物体中心化零样本物体检索和导航

    本文介绍 LOC-ZSON，一种用于复杂场景中物体导航任务的新颖语言驱动的面向物体的图像表示方法。我们提出了一种面向物体的图像表示和对应的损失函数，用于视觉语言模型（VLM）的微调，能够处理复杂的物体级别查询。此外，我们设计了一种基于 LLM 的增强和提示模板，以提高训练过程的稳定性和零样本推理的效果。我们在 Astro 机器人上实施了这种方法，并在模拟和现实世界环境中进行了零样本物体导航。我们展示了我们提出的方法在不同的基准设置下，在文本到图像检索任务中可以实现 1.38-13.38% 的改进。对于物体导航，我们展示了我们的方法在模拟和现实世界中的优势，分别取得了 5% 和 16.67% 的导航成功率的改进。

    May, 2024

  • 思考、行动与询问：开放式互动个性化机器人导航

    Zero-Shot Object Navigation (ZSON) mainly focuses on following individual instructions to find generic object classes, while Zero-shot Interactive Personalized Object Navigation (ZIPON) introduces Open-woRld Interactive persOnalized Navigation (ORION) framework that uses Large Language Models (LLMs) to navigate to personalized goal objects while engaging in conversations with users, showing significant improvement with interactive agents that can leverage user feedback, but the balance between task completion and the efficiency of navigation and interaction remains challenging.

    Oct, 2023

  • VoroNav：基于 Voronoi 的零样本物体导航与大型语言模型

    在家庭机器人领域，Zero-Shot Object Navigation 任务赋予了代理人在陌生环境中灵敏地穿越并定位来自新颖类别的物体而不需要事先明确训练。本文介绍了 VoroNav，一种新颖的语义探索框架，该框架提出了 Reduced Voronoi Graph 从实时构建的语义地图中提取探索路径和计划节点。通过利用拓扑和语义信息，VoroNav 设计基于文本的路径描述和图像，这些描述和图像可以被大型语言模型（LLM）轻松解释。我们的方法通过呈现路径和远视距描述的协同作用来表示环境背景，使 LLM 能够应用常识推理来确定导航的最佳航点。在 HM3D 和 HSSD 数据集上的广泛评估验证了 VoroNav 在成功率和探索效率（HM3D 上的成功率提高了 2.8%，SPL 提高了 3.7%，HSSD 上的成功率提高了 2.6%，SPL 提高了 3.8%）方面超过了现有的 Zero-Shot Object Navigation 基准。此外，引入了评估障碍物避免能力和感知效率的指标进一步证实了我们的方法在 Zero-Shot Object Navigation 规划中实现的改进。

    Jan, 2024

  • 基于层次化对象到区域图的对象导航

    本文提出利用分层对象 - 区域图（HOZ）来引导代理在未知环境中进行目标导航的方法，并引入在线学习机制来更新 HOZ 图。实验结果表明，该方法在 AI2-Thor 模拟器上具有有效性和高效性。

    Sep, 2021

  • 零样本物体检测

    本文提出了一种解决零样本目标检测问题的方法，并通过使用视觉 - 语义嵌入，背景感知方法，以及使用大量类别语义标签的辅助数据来解决仅有少数训练类别的问题。在 MSCOCO 和 VisualGenome 两个标准检测数据集上进行实验，验证了该方法的有效性。

    Apr, 2018

  • 零样本目标检测：学会同时识别和定位新概念

    本文提出了用于同时识别和定位未见过类别的物体实例的 Zero-Shot Detection 问题，并引入基于 ILSVRC 数据集的新实验协议和元类概念来改善自动推导的语义描述的噪音，旨在在视觉和语义领域信息之间建立协同作用的新型 'Zero-Shot Detection' 深度神经网络。

    Mar, 2018

  • OpenScene: 利用开放式词汇的 3D 场景理解

    使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

    Nov, 2022

  • 视觉与语言导航中的数据生成扩展

    通过构建大规模数据集，研究了语言引导的视觉导航中各个组成部分对代理性能的影响，并通过简单模仿学习将现有代理的性能推向了一个显著的新高度，成功率达到了 80％，并将在已见和未见环境中导航的泛化差距降低到不到 1％。

    Jul, 2023

  • 回归优化：基于扩散的零样例三维人体姿势估计

    通过结合基于优化和基于学习的方法，我们提出了 Zero-shot Diffusion-based Optimization (ZeDO) 管线，用于解决跨领域和野外环境下的 3D 人体姿态估计问题，并在多种数据集上实现了最先进的性能。

    Jul, 2023