Sep, 2023

高效室外物体导航中的隐形推理

PDF
TL;DR在室内、室外甚至未详细规划的环境中，机器人应存在。然而，最近在物体目标导航（OGN）方面的进展主要集中在室内环境中，利用空间和语义线索进行导航，这些线索在室外环境中并不具有普适性。本文介绍了一项新的任务 “OUTDOOR”，提出了一种新的机制，使大型语言模型（LLM）能够准确地幻想可能的未来，并提出了一种在这个更复杂领域中推动研究的计算感知成功度量。此外，我们还展示了在模拟无人机和实际四足机器人在户外环境中取得的令人印象深刻的结果。我们的代理机器人不需要预先地图，并且我们的形式化方法优于朴素的基于 LLM 的方法。
发现论文，激发创造
  • 利用大型语言和视觉模型通过程序生成的三维场景表示探索未知环境的机器人

    利用大型语言模型（LLMs）和大型视觉语言模型（LVLMs）的能力，本研究提出了一个综合框架，模仿人类认知以实现对象目标导航问题的解决，通过关注、感知和存储任务特定信息，并生成相应计划。为了有效表示机器人周围的环境，提出使用语义丰富的 3D 场景模块化表示，并引入基于 LLM 的修剪策略以消除无关的目标特定信息。

    Mar, 2024

  • 基于语言增强的空间本体论的室内外三维场景图生成

    该论文提出了一种在任意环境（室内和室外）中构建 3D 场景图的方法。为了解决室内和室外环境的概念层次复杂性和训练数据不足的挑战，提出了构建空间本体和使用逻辑张量网络构建 3D 场景图的两个新扩展。通过使用大型语言模型构建空间本体，从而大大减少手动工作量；并利用逻辑张量网络添加逻辑规则或公理，提供附加的监督信号，减少标记数据的需求，并在训练时允许预测未见过的概念。在多个数据集上测试表明，该方法显著提高了使用稀疏注释数据生成 3D 场景图的质量。

    Dec, 2023

  • 分析视觉和语言导航在未知的室外区域中的泛化能力

    本研究探讨了在室外场景中，视觉代理如何跨越未知地形实现指令导航，发现与室内情况相比，图形化表达方式对室外导航具有更大的影响，因此未来的研究需关注在不同地形环境中的规模和多样性增长。

    Mar, 2022

  • 在未知环境中跟随自然语言指令的学习模型

    本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

    Mar, 2015

  • 主动语义目标导航的映射学习

    本文提出了一种通过主动学习生成语义地图的框架，在未知环境下实现目标物体导航，通过在未观察区域内的语义类别的不确定性进行决策，实现了对场景中语义优先级的学习，并在 Matterport3D 数据库上验证了改进的导航效果。

    Jun, 2021

  • 大型语言模型下的导航：语义猜测作为计划启发式

    通过利用语义知识作为搜索启发式的语言模型，我们的方法（Language Frontier Guide，LFG）可以在新颖的现实环境和模拟基准测试中优于无知探索和其他使用语言模型的方法。

    Oct, 2023

  • 视而不见，仍在脑海中：基于视频追踪启用记忆模型的未被观察到的物体的推理与规划

    通过将变形器关系动力学用于部分视图点云和物体发现和跟踪引擎，我们提出了 DOOM 和 LOOM，旨在将面向对象的记忆编码到多物体操纵推理和规划框架中，以实现机器人在真实环境中可靠地处理先前观察但当前被遮挡的物体的问题，并成功实现了包括处理遮挡物体、新物体出现和物体再出现在内的多个具有挑战性的任务。通过大量的仿真和真实世界实验，我们发现我们的方法在不同数量的物体和干扰动作数量方面表现良好，并且超过了隐式记忆基准。

    Sep, 2023

  • 通过对空间配置进行推理实现导航

    我们针对导航问题进行研究，提出了一种使用空间语义元素的神经代理导航模型，并探究了它们对导航代理的推理能力的影响。研究结果表明，指令中显式建模空间语义元素可以改善模型的基础和空间推理能力，并在已见及未见环境上取得了竞争性的性能。

    May, 2021

  • CARTIER：面向机器人指令执行的地图语言推理

    该研究通过大型语言模型（LLMs）探索了空间规划和自然语言界面与导航的交叉问题。我们关注的是遵循与传统机器人指令不同、更类似于自然对话的相对复杂的指令。与先前的大多数工作不同的是，我们研究了对话交互中的隐式指令。通过利用 3D 模拟器 AI2Thor 在规模上创建复杂且可重复的场景，并通过为 40 种对象类型增加复杂的语言查询来扩充它。我们证明了通过使用 LLM 将用户交互解释为场景中对象列表的上下文，机器人能够更好地解析描述性语言查询。

    Jul, 2023

  • 基于大型语言模型的房间 - 物体关系知识在增强多模态输入目标导航中的应用

    利用大型语言模型提取知识，我们在多通道 Swin-Unet 架构的基础上，使用数据驱动的、基于模块的方法进行多任务学习，从而实现了有效的目标导航，超过了基准模型平均 10.6% 的效率指标（SPL），并在现实世界的演示中展示了该方法在穿越多个房间时的高效性。

    Mar, 2024