Nov, 2020

ArraMon:动态环境下联合导航和装配指令解释任务

HTML
PDF
TL;DR本研究提出了一种新的联合导航和组装任务，名为ArraMon，通过视觉和语言导航、对象组装和对象引用表达理解等多个步骤，让代理商在复杂的户外环境中寻找和收集不同的目标对象，然后在自我中心的网格布局环境中逐个将所收集的对象进行组装，研究实现了基于3D动态环境模拟器的数据集，并通过验证步骤过滤收集的指令，在英文和印地语中搜集了总共7.7K个任务实例。
发现论文，激发创造
  • 视觉和对话导航

    提出了 Cooperative Vision-and-Dialog Navigation 数据集，定义了 Navigation from Dialog History 任务，使用序列到序列模型解决人机对话中机器人导航的问题，并进一步证明历史对话越长，性能越好。

    Jul, 2019

  • 子任务感知的视觉语言导航

    本文提出了一个精细度更高的注释，以便在自然语言指令下更好地完成环境中的导航，为此使用了带有细致的注释的Room-to-Room（R2R）基准数据集。并引入有效的子指令注意力和移位模块，在每个时间步选择并关注单个子指令，实现了此子指令模块，与四个最新的代理基线模型进行了比较，并展示了我们提出的方法改进了所有四个代理的性能。

    Apr, 2020

  • ObjectNav Revisited:关于评估具有体验式智能的智能体导航到对象的研究

    研究重新访问 Object-Goal Navigation (ObjectNav) 问题，对任务进行了定义，提出了对评估标准、Agent 的具体参数、以及任务环境等细节的建议，并提供了在 Embodied AI workshop at CVPR 2020 上的具体实例。

    Jun, 2020

  • 新路径：使用合成指令和模仿学习扩展视觉语言导航

    利用360度全景数据生成的合成语音引导大型模拟数据集，使用模仿学习的简单Transformer模型，本文介绍了一种新的方式——合成指令及大规模模仿学习来提高代理程序。

    Oct, 2022

  • NavGPT: 基于大语言模型的视觉语言导航的明确推理

    本篇论文中，我们使用大语言模型（LLMs）为基础，介绍了一款纯 LLMs 导航代理 NavGPT，通过对视觉和语言导航（VLN）进行零样本顺序动作预测，揭示了 GPT 模型在复杂体验场景中的推理能力，以及它在导航中的应用，通过全面的实验，展示了 NavGPT 可以分解指令成子目标、对与导航任务相关的常识知识进行集成以及适应特殊情况等高级规划能力。

    May, 2023

  • 移动之前进行讨论：通过多专家讨论进行视觉语言导航

    通过与专家的讨论，我们引入了一种新的零射击视觉语言导航框架，命名为DiscussNav，能够有效地增强导航性能。

    Sep, 2023

  • 超越指令的导航：受阻环境中的视觉与语言导航

    本研究解决了视觉与语言导航（VLN）任务中，现有方法未考虑现实导航中的各种阻碍问题。通过引入R2R-UNO这一创新数据集和任务，展示了现有VLN方法在面对指令与实际环境不一致时的局限性，并提出了新的方法ObVLN，以增强智能体在受阻环境中的适应能力。实验证明，ObVLN能在无阻碍情况下保持强性能，并在有意外阻碍时显著提升表现。

    Jul, 2024

  • 具身-RAG：通用非参数具身记忆用于检索和生成

    本研究解决了现有检索增强生成（RAG）技术无法直接适用于具身领域的问题。提出的具身-RAG框架通过建立非参数记忆系统，允许具身代理自主构建层次化知识以支持导航和语言生成。实验表明，该框架能够高效处理各种查询，展示了其在具身代理中的广泛应用潜力。

    Sep, 2024

  • 具身式检索增强生成：通用非参数具身记忆用于检索与生成

    本研究解决了现有检索增强生成技术在具身领域中的适用性不足问题。提出的具身-RAG框架通过非参数记忆系统增强具身代理的基础模型，能够自主构建层次化知识，处理多种导航和语言生成任务。研究表明，该框架有效连接了检索增强生成与机器人领域，展示了其在多个环境中的广泛应用潜力。

    Sep, 2024

  • 具身RAG：通用非参数具身记忆的检索与生成

    本文解决了现有检索增强生成技术无法直接适应具身领域的问题。提出了一种新的框架“具身RAG”，通过非参数记忆系统增强具身智能体的基础模型，以层级方式构建导航和语言生成知识。研究表明，“具身RAG”成功处理了多种环境中的解释和导航查询，展示了其在具身智能体中的广泛应用潜力。

    Sep, 2024