本文介绍了一个基于不同 iable mapping 和端到端学习的神经网络架构（Differentiable Mapping Network，DMN），用于机器人的制图和定位任务，特别是在只有少量观测数据的情况下。作者将 DMN 应用于稀疏的可视化定位任务中，并在模拟和真实世界数据上进行了评估，证明了 DMN 在视觉定位中学习有效的地图表示的优点。

May, 2020

通过训练神经网络来实现全球本地化并应用于实际机器人场景，在二维平面中限制问题并大幅增加训练数据，可以得到紧凑的模型，实现了数厘米的定位精度，并在无人地面车上应用进行路径导航任务。

Nov, 2022

本论文提出了 Video-grounded Neural Module Network (VGNMN) 用于建模视频数据的信息提取过程，并在视频场景下的对话任务和视频问答基准测试上展示了良好的性能表现。

Apr, 2021

基于学习的方法，使用生成式查询网络（GQNs）与新颖的注意力机制，无需建立显式的点云或体素地图，实现对 Minecraft 中的 3D 场景进行视觉定位任务。

Jul, 2018

使用学习方法的视觉对象导航是移动机器人的关键任务之一，本文介绍了一种在与室内环境进行混合体互动过程中形成的场景语义地图的新表示方法，该方法基于神经网络通过反向或正向图像序列上的预测融合损失值的反向传播来调整分割模型的权重。我们将此表示方法实现到一种名为 SkillTron 的完整导航方法中，该方法可以根据强化学习和基于地图的经典规划方法从端到端策略中选择机器人技能。所提出的方法能够为机器人探索制定中间目标和对象导航制定最终目标，我们在 Habitat 环境中对所提出的方法进行了大量实验，在导航质量指标方面表现出明显的优势，与现有技术方法相比。所开发的代码和使用的自定义数据集可以在 github.com/AIRI-Institute/skill-fusion 上公开获取。

Nov, 2023

我们提出了一种使用语义地图作为视觉输入的图像字幕任务的导航指令生成新方法，并发布了使用语义地图的指令生成基准数据集和初步模型。

Mar, 2024

我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了 47％的 SR 和 41％的 SPL 的最新最佳结果。

Jul, 2023

本文研究了如何通过结构相似的多种机器人的数据来训练基于视觉的导航通用目标条件模型，并分析了有效数据共享的必要设计决策，证明了从异构数据集训练的普适策略优于任何单一数据集训练的策略。

Oct, 2022

该研究提出了一种将自然语言指令和原始观测映射到四轴飞行器无人机连续控制的方法，并使用两步模型分解进行简单高效的训练和评估，相对于其他指令跟踪方法，实现了 16.85％的任务完成精度提升。

Nov, 2018

提出一种联合仿真和现实学习框架，将导航指令和第一人称视角的原始观察结果映射到连续控制上，并采用监督式加强异步学习算法，将仿真和真实环境结合起来进行训练，最终在一个自然语言指令遵从的物理四轴飞行器任务中验证其有效性。

Oct, 2019