Jul, 2023

基于对话的机器人辅助导航系统：视觉语言基础

PDF
TL;DR提出了 DRAGON，一种由对话系统驱动的导航机器人，通过理解用户的命令，DRAGON 能够引导用户到地图上所需的地标，描述环境，并回答来自视觉观察的问题。通过对话的有效利用，机器人可以将用户的自由形式描述与环境中的地标联系起来，并通过口语提供语义信息。在日常室内环境中开展了一个盲目的用户研究，结果表明 DRAGON 能够与用户顺畅交流，提供良好的导航体验，并以直观的方式连接用户与周围环境。
visual impairmentswayfinding technologiesdialogue systemsemantic navigationuser study
发现论文，激发创造
  • 视觉语言导航：在实际环境中解释基于视觉的导航指令

    通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

    Nov, 2017

  • 视觉和对话导航

    提出了 Cooperative Vision-and-Dialog Navigation 数据集，定义了 Navigation from Dialog History 任务，使用序列到序列模型解决人机对话中机器人导航的问题，并进一步证明历史对话越长，性能越好。

    Jul, 2019

  • 两个 DRAGGN 的故事：一种混合方法解释以行动和目标为导向的指令

    本研究提出了深度递归动作 - 目标基础网络（DRAGGN）用于任务的基础和执行，其处理输入的任何类别的自然语言，并且通用于未见过的环境，在仿真机器人的实验中取得成功，这使我们更接近于为人机交互实现稳健的自然语言理解。

    Jul, 2017

  • 空中视觉和对话导航

    本文提出 Aerial Vision-and-Dialog Navigation (AVDN) 技术，利用自然语言对话方式实现无人机的导航，研究使用 AVDN 数据集实现从全对话历史中进行航行的任务，并提出一种有效的 Human Attention Aided (HAA) 基线模型，通过预测导航航点和人类注意力实现自动导航。

    May, 2022

  • 通过人机对话改善基于场景的自然语言理解

    该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法，并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境，并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。

    Mar, 2019

  • 向动物导盲犬级别引导工作迈进： 导盲犬机器人的系统配置和导航

    为了开发一款对于盲人或视觉受损人士真正有益的机器导盲系统，我们进行了定性研究，并考虑了导盲犬处理者和导盲犬作为导航团队的因素，建立了具有首选特性（例如速度和方向控制）的机器导盲犬的合作室内导航方案。我们通过在室内环境中测试盲人模拟行走，并展示类似导盲犬的避障行为，评估了我们的综合机器人系统。

    Oct, 2022

  • 跨语种视觉 - 语言导航

    该研究基于新增的汉语指令，研究了即使在零样本学习的情况下，使用现有的英语指令进行训练的代理人如何有效地导航，并显示了竞争结果。

    Oct, 2019

  • 利用大型语言和视觉 - 语言模型在具有可穿越障碍物的环境中进行互动导航

    提出一个互动导航框架，使用大型语言和视觉语言模型，使机器人能在存在可通过的障碍物的环境中导航。利用大型语言模型（GPT-3.5）和开放域视觉语言模型（Grounding DINO），创建一个动作感知的成本图，可以实现有效的路径规划而无需微调。实验结果证明了该框架在不同环境中的有效性和适应性。

    Oct, 2023

  • 在未知环境中跟随自然语言指令的学习模型

    本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

    Mar, 2015

  • RobotSlang 基准：对话驱动的机器人定位和导航

    该论文介绍了一种基于自然语言对话的机器人定位与导航任务基准测评 RobotSlang，并提出了从对话历史记录中学习的自适应定位与导航。研究结果表明，通过该方法可以训练出可控制实际机器人平台的智能体。

    Oct, 2020