ICCVApr, 2019

Habitat: 一种身体化人工智能研究平台

PDF
TL;DR介绍 Habitat 平台，该平台在实现高效的真实感三维模拟环境中培训虚拟机器人及相关任务如导航和嵌入式人工智能方法等方面做出了重大工程贡献。通过使用 Habitat 平台，作者在点 - 目标导航方面，通过比较学习与 SLAM 方法，发现当学习处理的数据量超出先前调查的数量级时，学习方法比 SLAM 方法更优。此外，在进行多个数据集和传感器的横向通用性实验时，作者发现仅使用深度 (D) 传感器的模型才具有数据集通用性。作者希望 Habitat 平台及其研究成果能够推动嵌入式人工智能领域的发展。
embodied artificial intelligencehabitat platform3d simulationnavigationsensors
发现论文，激发创造
  • Habitat 2.0: 训练家居助手重新排列他们的生活空间

    介绍 Habitat 2.0 (H2.0) 为一种用于在交互式 3D 环境和复杂的物理启用技术中训练虚拟机器人的仿真平台。在数据、仿真和基准任务的所有层面上都做出了全面的贡献。使用 HAB 测试移动操作能力。比较 deep RL 和 SPA 管道。发现 flat RL 与独立技能的层次结构存在 “hand-off” 问题，同时 SPA 传统管道比 RL 策略更脆弱。

    Jun, 2021

  • Habitat 3.0：人类、化身和机器人的共居空间

    Habitat 3.0 是一个模拟平台，用于研究家庭环境中协作人机任务。

    Oct, 2023

  • 基于模拟器的逻辑任务描述，用于评估具体化人工智能智能体的性能

    本研究探讨了如何将基于逻辑型 BEHAVIOR 活动定义转化为不同模拟器中的相对应活动作为第一步，拓展机器人在家庭任务中的应用，为此我们提出了一种适用于不同领域和场地的标准测试方法。

    Jun, 2022

  • Habitat-Matterport 3D 数据集（HM3D）：1000 个大规模 3D 环境用于基于身体的人工智能

    该研究介绍了 Habitat-Matterport 3D (HM3D) 数据集，它是一种大型建筑规模的三维重建数据集，用于训练具有智能体能力的 AI 代理。该数据集比现有的数据集在物理规模、重建的完整度和视觉保真度方面具有更好的性能，并使训练出的代理获得了最高的性能表现。

    Sep, 2021

  • 在实际环境中学习高效准确导航

    在自主导航的地面机器人领域，现有的研究大多使用真实感的动力学和感知模型，而本篇论文致力于通过在仿真环境中进行端到端的训练，减小模型在现实机器人平台上的差距，并取得了显著的性能和稳健性的提升。

    Jan, 2024

  • RoboTHOR：一个开放的从模拟到现实的具身化智能平台

    介绍了一个基于模拟环境的交互式和具身视觉 AI 研究平台 RoboTHOR，为解决模拟到真实世界的模型迁移问题提供了可能，为全球的研究者提供了一个远程测试具身模型的平台，并自举了实验结果表明，在模拟与物理世界中测试的模型训练性能存在显著差异，可能成为视觉计算的下一个发展阶段。

    Apr, 2020

  • 体感人工智能综述：从模拟器到研究任务

    本文对体感式人工智能领域进行了综合系统的调查和研究，包括对九个当前体感式人工智能模拟器的评估，以及对于该领域的三项研究任务，即视觉探索、视觉导航和身体问题回答的探索，并旨在为该领域模拟器和未来方向的选择提供建议。

    Mar, 2021

  • HabiCrowd: 一个专为关注群众的视觉导航而设计的高性能模拟器

    本文介绍了 HabiCrowd，这是第一个将人群动态模型与不同人物设定集成到逼真环境中的视觉导航基准，实证评估表明，我们提出的人体动力学模型在避碰方面具有卓越的计算效率和最新技术性能，利用 HabiCrowd 进行了人群感知视觉导航任务和人机交互方面的几项研究。

    Jun, 2023

  • 人性化的楼内实体送货基准

    我们提出了一种以人为中心的楼宇内具身交付商业场景的具体商业模拟，并开发了一个全新的虚拟环境系统，构建了一个模拟极地研究站的多层连接建筑空间，并包括具有抓取和移动能力的自主人物和机器人以及大量的交互物品。基于该环境，我们建立了一个包含 13,000 个语言指令的交付数据集，用于指导机器人提供服务。我们通过人物模拟人类行为，并对他们日常生活中的各种需求进行采样。最后，我们提出了一种以大型多模型为中心的方法，作为该数据集的基线系统。与过去的具身数据工作相比，我们的工作侧重于以人机交互为中心的商业情景下的虚拟环境。我们相信这将为具身社区带来新的视角和探索角度。

    Jun, 2024

  • 嵌入式扫描：面向身体智能的整体多模态 3D 感知套件

    在计算机视觉和机器人领域，基于自身的智能体需要能够探索环境并执行人类指令，这要求其能够从第一人称观察中完全理解 3D 场景，并将其以语言的形式进行交互。本研究引入了一种名为 EmbodiedScan 的多模式、自我中心的 3D 感知数据集和基准，用于整体的 3D 场景理解。通过该数据集，我们还引入了一种名为 Embodied Perceptron 的基线框架，它能够处理任意数量的多模式输入，并展示出卓越的 3D 感知能力。

    Dec, 2023