我们在 NeurIPS 2023 的 HomeRobot：开放词汇移动操作（OVMM）挑战中改进了强化学习基准模型，包括更准确的语义分割模块，以及更好的放置技能策略和高级启发式方法，在测试数据集的标准分割上，整体成功率提高了 2.4％（七倍的改进）和部分成功率提高了 8.2％（1.75 倍的改进）。在模拟和真实场景的挑战中，我们的代理获得了第三名的成绩。

Jan, 2024

在未知和动态环境中，建立并理解空间语义上下文的移动机器人操作任务通过零样本检测和基于视觉 - 语言模型的密集三维实体重建，利用大型语言模型进行空间区域抽象和在线规划，并通过演示在实际机器人实验中取得较高的导航和任务成功率以及基线模型相比更好的成功率和性能，证明了这种新的框架的有效性。

Jun, 2024

该研究介绍了我们的 UniTeam 代理 —— 一个改进的基线模型，用于处理在陌生环境中的导航问题、新物体的操作问题以及开放词汇的物体识别问题。通过评估基线代理的性能，并改善感知、导航和操作技能，实现了在感知方面的缺陷最小化、导航方面的无限循环问题解决、取物方面的因物体能见度变化导致的失败问题解决以及放置方面的准确定位以成功放置物体。

Dec, 2023

通过将视觉 - 语言模型（VLMs）与导航原语和抓取原语相结合，OK-Robot 提供了一个集成的解决方案，用于无需任何训练的拾取和放置操作，其在 10 个真实家居环境中取得了 58.5% 的成功率，在清洁、无杂乱环境中提高到 82%，这代表了开放词汇移动操纵中新的最先进技术。

Jan, 2024

在本研究中，我们介绍了一个全套解决方案，即开放世界移动操作系统，用于处理开放且无结构的环境中的真实关节对象操作，如真实世界中的门、柜子、抽屉和冰箱。我们还开发了一种低成本的移动操作硬件平台，能够在无结构环境中进行安全和自主的在线调整。

Jan, 2024

通过互补性的导航和操作，将机器人的环境感知与行为规划相结合，实现了在日常任务中的协调性行为，从而改善了现有技术。验证了该方法在模拟和真实环境中的有效性，并能够适应新颖的未知环境，无需额外调优。

Dec, 2023

利用开放词汇泛化的方法，本文提出了 MOKA（标记开放词汇关键点可利用性）来使用视觉语言模型解决由自由形式语言描述的机器人操作任务，通过在图像上注记关键点和航点的预测，将问题转化为视觉问答问题，并通过上下文学习和策略精炼提升性能，验证并分析了 MOKA 在以自由形式语言描述的各种操纵任务中的表现，如工具使用、可塑性物体操作和物体重新排列。

Mar, 2024

通过使用预训练的视觉 - 语言模型，开发了一种简单的方法 Manipulation of Open-World Objects (MOO) 来从自然语言命令和图像中提取目标标识信息，并将机器人策略基于当前图像、指令和提取的对象信息。在一个真实的移动机械臂上进行了多种实验，发现 MOO 可以零样本推广到广泛的新对象类别和环境中。

Mar, 2023

本研究通过模型强化学习、演示增强的方法，构建了一个能够直接在真实世界中学习联系丰富的灵巧操纵技能的系统 MoDem-V2，在模拟和实际环境中进行了实证研究，为直接在真实世界中进行演示增强的视觉模型强化学习提供了成功的案例。

Sep, 2023

本文介绍了一种新颖的交互式多对象搜索任务，并提出了一种层次强化学习方法，学习探索、导航和操作技能，该方法在模拟和实际的实验中展示了零样本迁移和对不同机器人运动学的适应性。

Jul, 2023