我们提出了一种使用语义地图作为视觉输入的图像字幕任务的导航指令生成新方法，并发布了使用语义地图的指令生成基准数据集和初步模型。

Mar, 2024

本研究提出了一种使用内置语音模型的视觉 - 语言导航方法，该方法利用演讲者模型来合成新的指令进行数据增强，并实现了实用推理和全景动作空间，大大提高了基线指令跟随者的性能，在标准基准测试中成功率超过现有最佳方法的两倍。

Jun, 2018

智能自主路径规划的关键是提高行星探测器的探索效率。本文提出了一种基于学习的方法，用于在高程地图中快速搜索最优路径，称为 NNPP 模型。该模型通过大量预注释的最优路径示范中学习起点和目标位置的语义信息以及地图表示，并生成每个像素的概率分布，表示其属于地图上最优路径的可能性。通过计算从 DEM 中获得的坡度、粗糙度和高度差来计算每个网格单元的遍历成本。随后，使用高斯分布对起点和目标位置进行编码，并分析不同位置编码参数对模型性能的影响。在训练后，NNPP 模型能够在新颖的地图上进行路径规划。实验证明，NNPP 模型生成的导航场能够在相同硬件条件下显著缩短寻找最优路径的时间，并且 NNPP 的优势随着地图规模的增加而增加。

Aug, 2023

本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

Mar, 2015

提出一种神经序列到序列模型，用 LSMT-RNN 将自然语言指令转化为动作序列来实现有效的自主代理。该模型使用对当前世界状态显著的句子 “区域” 的多个抽象来实现对句子的多层次对其。与现有方法相比，该模型不需要专门的语言资源（例如解析器）或任务特定注释（例如种子词典），因此具有通用性，同时在基准单句数据集上取得了迄今为止最佳结果，并为有限培训多句子设定提供竞争结果。

Jun, 2015

本文提出了一种新型的地图引导 GPT-based 路径规划代理模型 (MapGPT)，用于零 - shot 视觉语言导航任务，通过在线构建拓扑地图转换为提示来引导全局探索，要求代理模型明确输出和更新多步路径规划以避免陷入局部探索，并在 R2R 和 REVERIE 数据集上取得了令人印象深刻的性能 (分别为 38.8% 和 28.4% 的成功率)，展示了 GPT 模型在全局思考和路径规划能力方面的新兴能力，与以往需要微调独立参数或特定提示设计来满足不同数据集中不同指令风格的 VLN 代理相比，我们的 MapGPT 更统一，能够在不同指令风格之间无缝适应，这在该领域是首次。

Jan, 2024

利用深度学习模型，结合自然语言处理和机器人导航，使用关注模型以及环境的拓扑表示，将自由形式的自然语言指令翻译成行为机器人高级计划，能够显著优化传统方法的表现，并且探讨了环境地图作为知识库来促进自由形式导航指令翻译的可能性。

Sep, 2018

在视觉语言导航（VLN）任务中，代理器需要按照自然语言指令导航到目的地。本文提出了一套方法来解决现有大型语言模型在构建记忆和导航策略多样性方面面临的问题，通过维护一个包含导航历史、视点、物体及它们的空间关系的拓扑地图来增强导航能力，并通过引入导航思维链模块富化导航策略多样性，最终通过整合感知和动作预测模块建立了一个能提高大型语言模型导航能力和解释性的流水线。实验证明，该方法有效地增强了大型语言模型的导航能力并提高了导航推理的可解释性。

May, 2024

以语言作为感知表示来进行视觉和语言导航，探索了离线的视觉系统，将各个时间步骤的视角转换为自然语言描述，并微调预训练的语言模型来选择能够最好地满足导航指令的行动，以语言作为感知表示在导航任务中具有潜力。

Oct, 2023

提出了一种视觉导航的公式，该公式将基于地图的空间推理和路径规划与基于地标的稳健计划执行融合，该公式基于数据学习，能够高效地导航在新颖环境中，针对模拟现实世界环境进行了测试并报告了竞争基线方法的性能提高。

Dec, 2017