本文研究了具体化视觉主动学习任务，该任务通过选择性的视野请求注释来探索三维环境，以获取场景理解，我们通过开发一系列智能体来研究具体化视觉主动学习，其中智能体配备语义分割网络，并使用深度强化学习以及奖励函数平衡任务性能和必要注释数据请求，得到了可靠的结果。

Dec, 2020

通过结合传统的知识工程和大型语言模型，我们提出了一种以场景驱动的多模态知识图谱构建方法，用于知识表示和增强室内机器人功能。我们通过实例化 ManipMob-MMKG 评估了我们方法的优势，在数据收集效率和知识质量方面具有广泛的优越性。实验结果表明，使用我们实例化的 ManipMob-MMKG 进行知识增强方法可以明显改善性能，无需复杂重新设计模型结构。

Nov, 2023

当前的视觉说明模型假设图像是完整呈现场景的完美捕捉，然而在真实世界场景中一个图像可能没有提供良好的视角，从而限制了对细粒度场景的理解。为了克服这一限制，我们提出了一项名为 “实体说明” 的新任务，将视觉说明模型与导航能力相结合，使其能够主动探索场景，并减少来自次优视角的视觉模糊。我们构建了一个包含 10K 个混乱物体的 3D 场景和每个场景三个注释段落的 ET-Cap 数据集，以支持该任务。我们提出了一个级联实体说明模型（CaBOT），它由导航器和说明器组成，用于处理这个任务。广泛的实验证明我们的模型优于其他精心设计的基线模型。我们的数据集、代码和模型可在此链接获得。

Aug, 2023

综述了目前关于具有各种智能技能的智能机器人在 3D 环境中进行导航的研究领域，着重介绍了在这一领域内的各种高级技能，例如：感知局部观察视觉输入，理解跨模态的指令等等，并探讨了未来的研究方向及挑战。

Jul, 2021

本文对体感式人工智能领域进行了综合系统的调查和研究，包括对九个当前体感式人工智能模拟器的评估，以及对于该领域的三项研究任务，即视觉探索、视觉导航和身体问题回答的探索，并旨在为该领域模拟器和未来方向的选择提供建议。

Mar, 2021

建立了首个最大的多模态三维场景数据集与基准，并通过层次语言注释进行了多模态三维感知研究，为领域相关问题提供了重要的资源。

Jun, 2024

我们提出了一种以人为中心的楼宇内具身交付商业场景的具体商业模拟，并开发了一个全新的虚拟环境系统，构建了一个模拟极地研究站的多层连接建筑空间，并包括具有抓取和移动能力的自主人物和机器人以及大量的交互物品。基于该环境，我们建立了一个包含 13,000 个语言指令的交付数据集，用于指导机器人提供服务。我们通过人物模拟人类行为，并对他们日常生活中的各种需求进行采样。最后，我们提出了一种以大型多模型为中心的方法，作为该数据集的基线系统。与过去的具身数据工作相比，我们的工作侧重于以人机交互为中心的商业情景下的虚拟环境。我们相信这将为具身社区带来新的视角和探索角度。

Jun, 2024

利用大规模知识和学习方案以及大型语言模型（LLM），最近的机器学习模型在构建通用性代理人方面取得显著成功，表现出在不同领域（包括自然语言处理、计算机视觉和机器人技术）解决通用任务的能力。然而，这些模型在理解和与三维世界交互方面仍存在显著挑战。我们认为这一限制显著阻碍了当前模型执行现实世界任务和进一步实现通用智能的能力。为此，我们提出了一种根植于三维世界中，并具有多模态和多任务的通用代理人，其在感知、根据、推理、规划和行动方面表现出色。我们的提出的代理人，称为 LEO，在两个阶段进行训练：（一）三维视觉语言对齐，（二）三维视觉语言行动指导调整。为了促进训练，我们细致地策划并生成统计规模和复杂性的物体级和场景级多模态任务的大规模数据集，需要对三维世界进行深入的理解和交互。通过严格的实验证明了 LEO 在广泛任务范围中的出色能力，包括三维字幕、问题解答、根植式推理、根植式导航和机器人操作。我们的消融实验结果进一步为未来根植式通用代理的发展提供了有价值的见解。

Nov, 2023

自主代理人通过具有大空间和时间跨度的驾驶场景的理解而享有实体化的场景理解，它包括具有鲁棒的空间定位能力和准确探询时间线索的嵌入式语言模型（ELM）。

Mar, 2024

该研究使用多个视角和多种数据模式，提供全景视角和个人视角的场景理解数据集，以模拟真实世界中的信息访问方式，并通过 5 个不同的场景理解任务对数据集进行了评估，希望为综合场景理解提供更广泛的范围和多元化视角。

Apr, 2024