Oct, 2023

零样本目标视觉导航与类独立关系网络

PDF
TL;DR本研究探讨了无目标目标视觉导航问题。我们提出了一种称为无类关系网络（CIRN）的方法，将目标检测信息与目标与导航目标之间的相对语义相似性结合起来，构建了一种基于相似性排名的全新状态表示，有效地将智能体的导航能力与目标特征分离。我们的方法在 AI2-THOR 虚拟环境中的广泛实验中表现出了强大的泛化能力，包括使用不同目标和环境的零样本导航任务。同时，我们在更具挑战性的跨目标和跨场景设置中进行了实验证明了我们方法的稳健性和泛化能力。
zero-shot object goal visual navigationclass-independent relationship networkstate representationgraph convolutional networkgeneralization capabilities
发现论文，激发创造
  • 零样本物体导向视觉导航

    本文研究了零样本对象目标视觉导航任务，并提出了一种基于语义相似性网络的新型框架，用于在未训练过的类中引导机器人查找目标，通过在 AI2-THOR 平台上进行了广泛的实验，证明了我们模型的一般化能力强于基线模型。

    Jun, 2022

  • 空间关系图和图卷积网络用于目标导航

    该论文介绍了一种针对目标导航任务的框架，其中机器人需要从随机起始位置找到并移动到最近的目标对象类的实例。该框架利用机器人轨迹的历史记录来学习空间关系图和基于图卷积网络的嵌入，以便估计不同语义标签区域的接近度以及这些区域中不同的对象类别的出现。在评估期间，机器人使用贝叶斯推断和空间关系图来估计可见区域，并使用已学习的图卷积网络嵌入来排名可见区域并选择下一个探索区域。

    Aug, 2022

  • TDANet：面向目标导向的注意力网络在具备零样本能力的目标 - 目标视觉导航中的应用

    提出了一种目标导向的注意网络（TDANet），用于学习具有零 - shot 能力的端到端目标导向视觉导航策略，并通过在 AI2-THOR 环境中进行的大量实验验证了 TDANet 的导航性能，其在未见过的场景和目标对象上表现出较高的导航成功率和成功率加权长度，优于其他最先进的模型。

    Apr, 2024

  • 零样本实例导航的优先语义学习

    我们提出了一种优先语义学习（PSL）方法，通过引入语义增强的 PSL 代理和优先语义训练策略来提高导航代理的语义理解能力，并设计了语义扩展推理方案以保持与训练相同的目标语义粒度级别。此外，针对流行的 HM3D 环境，我们提出了一个实例导航（InstanceNav）任务，需要根据详细描述前往特定的对象实例，与仅通过目标类别定义目标的对象导航（ObjectNav）任务不同。我们的 PSL 代理在零样本 ObjectNav 的成功率上超过了先前的最优结果 66％，并且在新的 InstanceNav 任务上也表现优越。代码将在此 https 网址上发布：science/r/PSL/。

    Mar, 2024

  • 基于目标导向语义探索的目标导航

    该研究提出了 Goal-Oriented Semantic Exploration 系统，通过构建基于目标对象类别的情节语义地图来有效探索环境，该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。

    Jul, 2020

  • 将知识图谱与视觉感知对齐，进行物体目标导航

    提出了一种将知识图谱与视觉感知对齐的方法，通过连续建模场景结构和利用视觉 - 语言预训练来实现更准确和一致的场景描述，从而提供了非凡的零样本导航能力。

    Feb, 2024

  • 利用场景特定特征进行物体目标导航

    本文研究了在复杂的家庭环境中，物体和房间之间的内在关系是否有助于视觉导航任务中的智能体。我们通过一个新的降低训练难度的数据集提出了一种基于关注力机制的模型，该模型可以定量地利用场景和物体之间的相关性，从而能够实现导航模型的快速训练和更好的性能。

    Aug, 2020

  • 面向视觉与语言导航的时空物体关系建模

    利用交叉注意机制，通过对象关系提高代理导航能力，并引入回转惩罚损失函数以解决代理的重复位置访问问题。

    Mar, 2024

  • 通过对应关系实现端到端（实例）- 图像目标导航的新发现现象

    通过使用预设任务和双编码器模型，本研究针对视觉导航中的视觉对应问题和目标检测进行了改进，取得了显著进展并在两个基准测试中达到了最佳性能。

    Sep, 2023

  • 基于潜力函数的无交互学习的目标导航

    该研究提出了基于无交互学习的潜在函数的模块化方法，旨在解决物体目标导航的计算资源和时间成本问题。通过训练预测两个互补潜在函数的网络，方法可以在不与环境交互的情况下决定何时寻找看不见的物体，进而实现 ObjectGoal 导航，证明该方法能够实现 ObjectGoal 导航的最新状态，并且训练成本可以降低多达 1600 倍。

    Jan, 2022