综述了目前关于具有各种智能技能的智能机器人在 3D 环境中进行导航的研究领域，着重介绍了在这一领域内的各种高级技能，例如：感知局部观察视觉输入，理解跨模态的指令等等，并探讨了未来的研究方向及挑战。

Jul, 2021

通过对 RGB-D 和基于点云的视觉控制策略进行实验，我们发现明确编码点云的策略在可视条件变化下显著更加稳健，同时我们提出的点云世界模型（PCWM）在训练过程中大幅提升样本效率，这些结果表明通过点云对三维场景进行推理可以改善性能、缩短学习时间并提高机器学习算法的稳健性。

Apr, 2024

本文介绍了一项新的 AI 任务 -- 实体问答（EmbodiedQA），其中智能体在随机位置生成于 3D 环境中，通过主动感知、语言理解、目标导向的导航、常识推理和语言行动化等一系列 AI 技能完成问答任务，同时我们也开发了 EmbodiedQA 环境、端到端训练的强化学习智能体和评估协议。

Nov, 2017

当前的视觉说明模型假设图像是完整呈现场景的完美捕捉，然而在真实世界场景中一个图像可能没有提供良好的视角，从而限制了对细粒度场景的理解。为了克服这一限制，我们提出了一项名为 “实体说明” 的新任务，将视觉说明模型与导航能力相结合，使其能够主动探索场景，并减少来自次优视角的视觉模糊。我们构建了一个包含 10K 个混乱物体的 3D 场景和每个场景三个注释段落的 ET-Cap 数据集，以支持该任务。我们提出了一个级联实体说明模型（CaBOT），它由导航器和说明器组成，用于处理这个任务。广泛的实验证明我们的模型优于其他精心设计的基线模型。我们的数据集、代码和模型可在此链接获得。

Aug, 2023

通过在 17 个不同的接触丰富的操作任务上进行广泛实验证明，针对机器人学习中的不同观察空间，特别是 RGB、RGB-D 和点云，点云方法在性能上通常超过 RGB 和 RGB-D，不论是从头开始训练还是利用预训练。此外，研究结果表明，点云观察对于各种几何和视觉线索（包括摄像机视角、光照条件、噪声水平和背景外观）的零样本泛化具有改进作用，暗示了 3D 点云作为一种有价值的观察模态在复杂的机器人任务中的应用。

Feb, 2024

本研究提出了一种基于点的方法，使用可学习的神经描述符来编码局部几何和外观信息，并学习深度渲染网络生成具有照片般逼真感觉的场景视图，同时避免显式表面估计和网格化，并适用于各种复杂场景，包括使用 RGB-D 传感器与标准 RGB 相机进行扫描的场景。

Jun, 2019

本文提出了一种基于身体的问答任务，即 Embodied Question Answering，通过放置一个 agent 在 3D 环境中，学习结合场景理解、导航和语言理解等能力，实现在视觉世界中进行复杂推理。为了探索 EQA 系列任务的可行性，我们构建了 VideoNavQA 数据集，评估了各种模型在此数据集上的表现。

Aug, 2019

我们提出了第一个端到端的多模态深度神经网络，可以根据文本指令生成与周围环境一致的点云对象，从而能够创建涉及以前未见过的物体布局的新场景，而无需预先构建的 CAD 模型数据库。

Nov, 2023

本文提出了一个新的大规模 3D 多视图视觉问答基准（3DMV-VQA），介绍了一种基于神经场，2D 预训练的视觉语言模型和神经推理运算符的 3D 概念学习与推理（3D-CLR）框架，并评估了各种最先进的模型，发现它们都表现不佳，提出了从多视图图像中推断出世界的紧凑 3D 表示，并在此基础上执行推理的原则方法，对挑战进行了深入分析并指出了潜在的未来方向。

Mar, 2023

提出了一种基于地图的模块化 EMQA 方法，通过基于边界的地图创建，使用支持开放词汇表的基础模型，使得真实机器人能够在未知环境中导航，并针对未知问题答案对进行处理，在虚拟环境和两个真实家庭环境上进行了综合实验，证明了方法在真实世界中的有效性。

May, 2024