Mar, 2021

使用全身移动操纵在未知场景中实现关节物体交互

PDF
TL;DR本文提出了一个在未知环境中自主交互大型铰接物体的两阶段架构，第一阶段是以物体为中心的规划器，第二阶段是以智能代理为中心的规划器，并且在移动障碍物的情况下，通过优化控制问题确保安全跟踪所生成的计划。
autonomous interactionmobile manipulatorswhole-body controlobject-centric planneragent-centric planner
发现论文，激发创造
  • 自适应开放环境下的关节化物体移动操控

    在本研究中，我们介绍了一个全套解决方案，即开放世界移动操作系统，用于处理开放且无结构的环境中的真实关节对象操作，如真实世界中的门、柜子、抽屉和冰箱。我们还开发了一种低成本的移动操作硬件平台，能够在无结构环境中进行安全和自主的在线调整。

    Jan, 2024

  • 从视觉演示中学习关节动作

    该论文介绍了一种通过捕捉物体的深度图像来获取其运动学模型的方法，以便于机器人能够独立使用这些物体，这种方法不需要先前的物体模型，并使用了稀疏（无标记）特征跟踪、运动分割、组件姿态估计和运动学习等技术。

    Feb, 2015

  • 预测活动普通物品的运动计划

    本文介绍了一种将移动机器人操作任务的规划问题转化为学习问题的方法，并提出了一种基于 ArtObjSim 模拟器的快速和灵活的 SeqIK+$ heta_0$ 运动规划表示方法和相应的学习模型，该方法在测试时可以快速准确地预测关节式对象的运动计划。

    Mar, 2023

  • SPIN: 同时感知、交互与导航

    通过使用主动视觉系统来有意识地感知和应对环境，我们开发了一种移动操纵框架，该框架利用移动机械手的能力来移动和观察，从而能够在复杂混乱的场景中导航并展示灵活的全身协调，而无需创建环境地图。

    May, 2024

  • 通过交替进行多智能体路径规划和基于物理模拟的操作，实现可移动物体的复杂非抓取操作规划

    该研究针对机器人在重复环境中的可操作性，提出一种基于物理模拟器的动态规划算法，结合多智能体路径规划的思想，用于实现机械臂动作计划与可移动物体状态变化之间的交互式自主调整。

    Mar, 2023

  • 人体物体交互：基于人类级别指令

    能够从人类级别的指示中同时合成对象运动、全身运动和手指运动的第一个完整系统。

    Jun, 2024

  • 面向可泛化的关节式物体操作的运动感知提示

    通过在大型语言模型（LLMs）中引入物体的运动学知识，我们提出了一个运动学感知的提示框架，来生成各种物体操作的低层运动轨迹航点，从而实现智能机器人的通用操控。我们的实验结果表明，该框架在 8 个已知物体类别上表现优于传统方法，并且在 8 个未知的关节式物体类别上展现出强大的零样本能力。同时，我们在 7 个不同的物体类别上进行的真实世界实验也证明了该框架在实际场景中的适应性。

    Nov, 2023

  • VAT-Mart: 学习 3D 关节物体操作的视觉动作轨迹提议

    本文提出了一种基于物体的行动视觉先验的方法，即预测密集的几何感知、交互感知和任务感知的行动特征，结合强化学习策略和感知模块进行训练，通过探索多样的交互轨迹和总结概括所探索的知识来实现更好的感知 - 交互效果，并在大规模数据集上验证了其有效性和推广能力。

    Jun, 2021

  • 使用通用移动操纵器在现实世界中打开橱柜和抽屉

    构建了一个端到端系统，使得一种移动机械手（Stretch RE2）能够在多样化的前所未见的真实环境中打开橱柜和抽屉，并通过四天的测试，在未见过的环境中成功率达到 61％，并分析了感知误差是主要挑战。

    Feb, 2024

  • 全身手物互动合成的真实物理模拟

    我们提出了一种基于物理的方法来合成全身手物交互。通过通过一个层次化框架，并结合强化学习和物理仿真，我们首先在解耦环境中学习身体和手部运动的技能先验。然后，我们使用一个新颖的奖励函数训练一个高层策略，以在预训练的潜在空间中控制手物交互。我们的方法成功完成了从接近物体到抓取和后续操纵的完整交互任务，并展示出比基于运动学的基线方法更具物理合理性的动作。

    Sep, 2023