该论文介绍了一种针对目标导航任务的框架，其中机器人需要从随机起始位置找到并移动到最近的目标对象类的实例。该框架利用机器人轨迹的历史记录来学习空间关系图和基于图卷积网络的嵌入，以便估计不同语义标签区域的接近度以及这些区域中不同的对象类别的出现。在评估期间，机器人使用贝叶斯推断和空间关系图来估计可见区域，并使用已学习的图卷积网络嵌入来排名可见区域并选择下一个探索区域。

Aug, 2022

本文利用视觉转换器 (ViTs) 作为我们视觉推理的基本模型，通过优化定义为物体实体及其关系概念，推动 ViTs 的推理能力，并介绍了一种新的概念特征字典，以促进全局关系推理和促进语义对象特定一一对应关系学习的局部任务。结果显示，我们的模型 Concept-guided Vision Transformer（或 RelViT）在 HICO 和 GQA 上的性能均优于先前的方法，并充分考虑了 ViT 变体和超参数的稳健性。

Apr, 2022

通过系统的关系推理方法和轨迹预测，我们提出了一种适用于多智能体系统的社交机器人导航研究，通过该方法，在密集、互动场景中，在安全性、效率性和社交遵循性方面显著优于最强基准线。

Jan, 2024

利用交叉注意机制，通过对象关系提高代理导航能力，并引入回转惩罚损失函数以解决代理的重复位置访问问题。

Mar, 2024

通过构建导航思维链（NavCoT）进行领域内训练的新策略，提高了基于大型语言模型（LLM）的自主导航决策性能以减少领域差距。NavCoT 相对于直接行动预测的变体在各种训练设置和流行的视听导航基准上表现明显优越，并通过简单的参数微调在 R2R 数据集上实现了约 7％的相对改进。该方法将帮助开发更适应任务且可扩展的基于 LLM 的真实世界机器人应用。

Mar, 2024

通过提出一种语言和视觉实体关系图及信息传递算法，成功解决了视觉和语言的跨模态关系，提升了在 Room-to-Room 和 Room-for-Room 测试数据集的表现。

Oct, 2020

本研究基于场景图作为输入，以图神经网络为主干，集成任务驱动的注意机制，探寻分层关系对象导航任务，并证明其比现有技术有更好的可扩展性和学习效率。

Jun, 2023

在家庭机器人领域，Zero-Shot Object Navigation 任务赋予了代理人在陌生环境中灵敏地穿越并定位来自新颖类别的物体而不需要事先明确训练。本文介绍了 VoroNav，一种新颖的语义探索框架，该框架提出了 Reduced Voronoi Graph 从实时构建的语义地图中提取探索路径和计划节点。通过利用拓扑和语义信息，VoroNav 设计基于文本的路径描述和图像，这些描述和图像可以被大型语言模型（LLM）轻松解释。我们的方法通过呈现路径和远视距描述的协同作用来表示环境背景，使 LLM 能够应用常识推理来确定导航的最佳航点。在 HM3D 和 HSSD 数据集上的广泛评估验证了 VoroNav 在成功率和探索效率（HM3D 上的成功率提高了 2.8%，SPL 提高了 3.7%，HSSD 上的成功率提高了 2.6%，SPL 提高了 3.8%）方面超过了现有的 Zero-Shot Object Navigation 基准。此外，引入了评估障碍物避免能力和感知效率的指标进一步证实了我们的方法在 Zero-Shot Object Navigation 规划中实现的改进。

Jan, 2024

本研究提出了一个轻量级、全 CPU 基于的 “图神经本地化器” 框架，旨在解决语义定位问题。该框架结合了场景图和图神经网络技术，首先训练了一个场景图分类器用于被动视觉，然后将其知识转移到强化学习规划器用于主动视觉。实验表明，该方法在自我监督学习和无监督域适应两个场景下都具有效果。

May, 2023

通过构建基于地理空间数据的知识图谱，利用上下文无关文法（CFG）和大型语言模型 (LLM) 生成导航指令，本研究提出了一种用于生成高质量合成数据的大规模增强方法，以解决新环境下训练数据不足的问题。结果显示，通过 CFG 增强训练的模型在未知环境和已知环境中均取得了更优异的性能，这表明在未知领域中，显式结构化空间信息的文本地理推理具有潜在的优势，可以应用于数据稀缺的场景。

Jun, 2024