Sep, 2023

SPOTS: 半自主遥操作系统中稳定物体放置与推理

PDF
TL;DR在本文中，我们研究了机器人技术中的一个基本任务 —— 拾取和放置。通过结合仿真驱动的物理稳定性验证和大型语言模型的语义推理能力，我们提出的方法能够在给定上下文信息的情况下，输出放置任务的可能候选位置的概率分布，考虑到任务的稳定性和合理性。我们在两个仿真环境和一个真实环境中对我们的方法进行了广泛评估，并展示了我们的方法在考虑用户偏好的情况下，显著提高了放置任务的物理可信度和上下文合理性。
发现论文，激发创造
  • 学习如何将新物体放置在场景中

    本文针对机器人在无序的环境中进行多物体放置提出了一种学习方法，通过设计适当特征和运用图形模型对各种属性进行编码，并在模型中运用整数线性规划进行推理和求解，最终在 16 个品类、40 个区域内对 98 个物体进行了广泛的评估和实验，其结果表明本方法在对已知物体放置情况的成功率达 98%，并且在对新物体进行稳定放置的情况下成功率为 82%。

    Feb, 2012

  • 将语言与取放物任务结合

    本研究提出了一种基于自然语言指令的机器人系统，通过对话解决歧义，推断出物体及其关系，能够按照用户表达的空间关系成功地放置物体，具有较好的放置效果。

    Feb, 2021

  • 任务驱动的知觉和操作：未知物体的约束放置

    该论文提出了一种使用简单容积表示法进行机器人夹取和约束放置的算法框架，并通过真实物理实验展示了该方法的成功率和更快的执行时间。

    Jun, 2020

  • 无需物体模型的自监督学习精准拾取和放置

    该研究提出一种应用基于机器学习的灵活取放技术实现对物体的自主操作方法，通过学习与仿真操作降低了对于物体模型的需求。

    Jun, 2020

  • 规划机器人放置以进行物体抓取

    通过利用机器人的可达性、环境的 RGB-D 图像和占用栅格图，提出了一种服务机器人工作流中的机器人位置选择算法，通过选择机器人位置以实现成功抓取目标对象，从而与现有的基线实现相比，改善了机器人在具有挑战性位置上抓取目标物体的能力。

    May, 2024

  • simPLE: 通过在模拟中学习的视觉触觉方法实现精确物体抓取、定位、重新抓取和放置

    传统机器人系统在通用性与精确性之间存在明显的紧张关系。本文探讨了精确和通用的拾取和放置解决方案，基于 simPLE（模拟选择定位和放置）的方法，通过任务感知抓取、视触感知和再抓计划的三个主要组件，成功实现了对 15 个不同形状对象的精确拾取放置。

    Jul, 2023

  • 面向语言驱动空间布局的物体中心推断：一种基于基础模型的方法

    我们提出了一种对象为中心的框架，利用基础模型来对参考对象和空间关系进行基础建模，使得机器人可以生成满足语言指令中所有空间关系限制的放置位置，该模型可提高训练数据的利用效率并具有更强的泛化性能，在只有 25% 的训练数据下，我们的模型仍然表现优于目前最佳方法，且可以达到 97.75% 的放置成功率。

    Apr, 2023

  • 利用对称性的提取和放置

    研究了平面机器人拾取和放置中的对称性，并提出了将等变神经模型融入 Transporter Net 的方法，以捕捉所有对称性。经实证评估，新模型比非对称版本更高效，并能在各种模仿学习任务中以很少的人类示范来模仿拾取和放置行为。

    Aug, 2023

  • 深度 SE (3) 等变几何推理用于精确布局任务

    在本文中，我们提出了一种方法，用于准确的相对位置预测，该方法在少量演示数据上可学习，可以跨对象类别变化进行泛化，并通过证明具有 SE (3) 等变性来解决此问题。

    Apr, 2024

  • 无几何对象模型的取放置

    本研究提出了一种深度强化学习算法来解决机器人拾取和放置问题，通过将操作定义为手的目标位置并将状态定义为已达到的历史位置，使算法能够在未知对象几何结构情况下解决大量拾取和重抓问题，并只需依靠传感器感知信息和已知的对象一般类别。实验结果表明，该算法明显优于基于形状基元的基准模型。

    Jul, 2017