CVPRJun, 2022

导航代理学习到了哪些关于环境的信息？

PDF
TL;DR本文介绍了一种解释具有符号感知（Embodied）的 Point Goal 和 Object Goal 导航代理的方法，即 “Interpretability System for Embodied agEnts (iSEE)”，并使用该方法对代理行为进行了分析，揭示了一些关于代理的有趣性质。
visual navigationinterpretabilityembodied aiiseeneurons
发现论文，激发创造
  • 具身视觉导航的深度学习：一项综述

    综述了目前关于具有各种智能技能的智能机器人在 3D 环境中进行导航的研究领域，着重介绍了在这一领域内的各种高级技能，例如：感知局部观察视觉输入，理解跨模态的指令等等，并探讨了未来的研究方向及挑战。

    Jul, 2021

  • 交互式视觉导航：推动它脱离路径

    本文介绍了智能体互动导航的问题，并提出了用神经交互引擎（NIE）解决物理任务的方法，研究表明，应用 NIE 的智能体的导航能力显着提高。

    Apr, 2021

  • 图像目标导航的变形金刚

    利用生成式 Transformer 模型，通过联合建模图像目标、摄像头观察和机器人过去的动作来预测未来的动作，从而实现对于长时间跨度的图像目标导航任务的稳健的、无需与环境实时交互的目标导向导航策略。

    May, 2024

  • 实例感知探索 - 验证 - 利用于实例图像目标导航

    在未知环境中，为了导航到目标图像中指定的对象，我们提出了一种人工智能导航框架 IEVE，它通过模拟人类的行为，在不同的情况下帮助代理人在探索、验证和利用行为之间进行积极切换，从而识别并导航至目标对象。在挑战性的 HabitatMatterport 3D semantic 数据集上，我们的方法优于现有的最先进方法，在经典分割模型（0.684 vs. 0.561 成功率）或强大模型（0.702 vs. 0.561 成功率）方面。

    Feb, 2024

  • 观察，聆听和行动：走向音频视觉具身化导航

    本文描述了一种音频 - 视觉导航方案，该方案基于移动智能机器人，利用可微卷积神经网络学习视觉感知器和声音感知器，以及动态路径规划器，实现在室内环境中通过音频和视觉数据计算从机器人当前位置到声源的最短路径。

    Dec, 2019

  • 融合自我定位以实现更真实的点 - 目导航智能体

    本文介绍了一种基于视觉位移估计和任务特定导航策略的点目标导航代理，该代理可适应嘈杂的传感器和动作动态，并在 CVPR 2020 Habitat Challenge 的 PointNav 跟踪中获得亚军。

    Sep, 2020

  • 通过问答学习实体视觉导航和任务完成

    该研究提出一种名为 ELBA 的模型，以增强具有互动人类能力的代理，通过问答实现动态获取附加信息，以提高任务完成性能，并在 TEACH 视觉对话导航和任务完成数据集上进行了评估。

    Feb, 2023

  • 导航至特定图像所指示的对象

    本研究介绍了一个可以在仿真和现实实现物体到达任务的系统，该系统采用模块化方法解决了探索、目标识别、目标定位和本地导航等子任务，无需任何微调，实现了较高的成功率，并在移动机器人平台上展示了有效的实际性能。

    Apr, 2023

  • 走向学习通用模型的行动导航

    利用基于模式的指令将 LLMs 整合到具有身体导航功能的第一个通用模型 NaviLLM 中，该模型在各种任务中取得了最新的成果，并在 CVDN、SOON 和 ScanQA 上的性能达到了最新发展水平。

    Dec, 2023

  • 学习在复杂环境中导航

    利用增强学习问题和多模态感应输入的辅助深度预测和循环闭环分类任务，可以学习从复杂 3D 迷宫中进行导航并接近人类级别表现

    Nov, 2016