Jul, 2020

学习目标关系图与初步策略用于视觉导航

PDF
TL;DR该论文提出了三种相互补充的技术：目标驱动的视觉导航、对象关系图、试验驱动的模仿学习和记忆增强型随机策略网络，它们针对学习有效的视觉表征和强大的导航策略进行了优化，在人工环境 AI2-Thor 中验证了技术的有效性，其中每一项技术的有效性都得到了证明。该方法在未知环境中有效地提高了导航效率和效果。成功率和成功路径长度 (SPL) 分别提高了 22.8% 和 23.5%。
target-driven visual navigationobject relation graphimitation learningtentative policy networkunseen environments
发现论文，激发创造
  • 面向视觉与语言导航的时空物体关系建模

    利用交叉注意机制，通过对象关系提高代理导航能力，并引入回转惩罚损失函数以解决代理的重复位置访问问题。

    Mar, 2024

  • 语言和视觉实体关系图用于智能体导航

    通过提出一种语言和视觉实体关系图及信息传递算法，成功解决了视觉和语言的跨模态关系，提升了在 Room-to-Room 和 Room-for-Room 测试数据集的表现。

    Oct, 2020

  • 零样本目标视觉导航与类独立关系网络

    本研究探讨了无目标目标视觉导航问题。我们提出了一种称为无类关系网络（CIRN）的方法，将目标检测信息与目标与导航目标之间的相对语义相似性结合起来，构建了一种基于相似性排名的全新状态表示，有效地将智能体的导航能力与目标特征分离。我们的方法在 AI2-THOR 虚拟环境中的广泛实验中表现出了强大的泛化能力，包括使用不同目标和环境的零样本导航任务。同时，我们在更具挑战性的跨目标和跨场景设置中进行了实验证明了我们方法的稳健性和泛化能力。

    Oct, 2023

  • 基于教师推荐学习的目标关系图像视频字幕生成

    本文提出了一个视频字幕生成系统，包括一种新颖的基于对象关系图的编码器和一种有效的训练策略，其中使用了教师推荐学习方法和外部语言模型来解决长尾问题，并在多个基准测试中取得最好的性能，实验证明我们的系统是有效的。

    Feb, 2020

  • 学习目标导航的层次关系

    该研究提出了一种基于目标导向的导航算法 MJOLNIR，利用对象之间的关系和环境 context 来进行目标定位，相较于现有方法，在多种环境下实现了 82.9% 和 93.5% 的更高成功率和更短路径长度，并且收敛速度更快，并避免了过拟合问题。

    Mar, 2020

  • 将知识图谱与视觉感知对齐，进行物体目标导航

    提出了一种将知识图谱与视觉感知对齐的方法，通过连续建模场景结构和利用视觉 - 语言预训练来实现更准确和一致的场景描述，从而提供了非凡的零样本导航能力。

    Feb, 2024

  • 带有目标关系图的层次化和部分可观察的目标驱动策略学习

    本研究提出一种新型的基于两层分层强化学习的目标驱动任务解决方法，使用 Goals Relational Graph 优化部分可观察的目标导向任务，例如目标驱动视觉导航，实验结果显示该方法在新环境和新目标上表现出卓越的泛化性能。

    Mar, 2021

  • TDANet：面向目标导向的注意力网络在具备零样本能力的目标 - 目标视觉导航中的应用

    提出了一种目标导向的注意网络（TDANet），用于学习具有零 - shot 能力的端到端目标导向视觉导航策略，并通过在 AI2-THOR 环境中进行的大量实验验证了 TDANet 的导航性能，其在未见过的场景和目标对象上表现出较高的导航成功率和成功率加权长度，优于其他最先进的模型。

    Apr, 2024

  • LOViS: 为视觉语言导航学习方向和视觉信号

    本文设计了一种具有显式方向和视觉模块的神经代理，通过特定的预训练任务，强化代理的空间推理和视觉感知，在 Room2room 和 Room4room 数据集上均取得了最先进的结果。

    Sep, 2022

  • PIRLNav：利用模仿与强化学习微调的预训练方法实现物体导航

    该研究通过提出一种两阶段的学习方法，结合模仿学习和强化学习，对 ObjectGoal Navigation 问题进行研究，展示了对人类演示预训练后进行强化学习的 PIRLNav 策略，在 ObjectNav 任务上将成功率从 60.0% 提升至 65.0%。研究发现，相比自动生成的演示，人类演示更具优势，而当 IL 预训练的准确率较高时，增加训练数据集的规模对 RL 微调的影响较小，此外，还提出了进一步改进该策略的指导方针。

    Jan, 2023