Jan, 2023

通过模拟与现实的迁移学习实现精准的无模型机器人抓取

PDF
TL;DR提出了一种基于数据生成和模拟到真实世界迁移学习的机器人抓握框架，该框架通过减少模拟和实际之间的差距，解决了数据稀疏、传感器数据和接触模型不准确等问题，在单一物品、复杂形状物品和多物品的机器人抓握场景下分别获得了 90.91%、85.71% 的高成功率。
robotic graspingdata generationtransfer learningdeep learningsim-to-real transfer
发现论文，激发创造
  • 自动生成抓取数据集的域随机化用于模拟到真实场景迁移

    本研究探讨了如何利用自动生成的抓取方法来解决机器人在实际环境中获取对象的问题，并就域随机化、从仿真到实际的转移性等问题进行了分析和研究。

    Oct, 2023

  • 领域随机化和生成模型在机器人抓取中的应用

    通过使用深度学习，机器人抓取技术在数据可用性和算法改进方面取得了显著进展。在本文中，我们探索了一种新的数据生成管道，用于训练深度神经网络执行抓取规划，并提出了一种自回归的抓取规划模型，其将场景的传感器输入映射到可能的抓取概率分布。最终，我们在以前从未见过的物体上实现了 90% 以上成功率。

    Oct, 2017

  • 使用模拟和领域自适应提高深度机器抓取效率

    使用合成数据和领域自适应，可以将在真实世界中所需的样本数缩减至只使用随机生成的合成对象，并且可以使用无标签的真实世界数据和 GraspGAN 方法来获得类似于使用 939,777 个标记的真实世界样本所达到的真实世界抓取性能。

    Sep, 2017

  • 深度学习实例抓取的多任务域自适应

    本文提出一种基于多任务领域适应的框架来解决机器人抓取的训练数据收集和标注的问题，借助仿真机器人实验来对杂乱场景下的抓取进行实例化，并通过领域对抗性损失将训练好的模型转移到真实机器人系统中，经过实际机器人实验的评估表明本文所提出的模型准确性比其他模型结构及基准模型都要高。

    Oct, 2017

  • 基于手眼协同观测与连续控制的抓取准确性模拟转现

    该研究提出了一种有效的深度学习机器人抓取小圆球的方法，并将整个系统分解为视觉模块和闭环控制器模块两部分来实现。通过在真实背景图像和模拟图像之间进行有效领域转移来训练视觉模块，并使用模仿学习在仿真环境中对闭环控制器进行训练，从而实现了对未知情况的抓取成功率达到了 90％。

    Dec, 2017

  • Sim-Grasp：使用综合基准学习杂乱环境中的六自由度抓取策略

    该研究论文介绍了 Sim-Grasp，该系统结合了先进的语言模型，以增强杂乱环境下的物体操作能力。Sim-Grasp 通过引入 Sim-Grasp-Dataset 和 Sim-GraspNet，成功地生成点云下的抓取姿势。Sim-Grasp 成功率达到了 97.14% 的单一物体抓取和 87.43% 和 83.33% 的混合环境抓取（分级 1-2 和分级 3-4 的物体）。通过结合文本和盒子提示进行目标识别，Sim-Grasp 实现了对物体的无关和有关抓取，推动了智能机器人系统的发展。

    May, 2024

  • 学习抓握：从某处到任何地方

    通过使用 RGB-D 数据流和视觉技术，本研究提出了一种自动生成并适应新物体姿态的抓取轨迹的方法，通过将轨迹相对于物体框架进行投影，实现了在多个不同机器人设置和物体上的抓取任务的高效执行。

    Oct, 2023

  • 使用模拟深度图像学习真实世界机器人抓取的视觉动作控制器

    该研究提出了一种用于机器人抓取的闭环控制器的学习方法，该方法使用卷积神经网络学习关于图像的真实抓取的距离函数，可以应对虚拟和真实噪声传感器图像中的机械误差，感知误差和抓握时物体的不确定性。

    Jun, 2017

  • 机器人抓取闭环：实时、生成式抓取综合方法

    本文提出了一种实时的、物体独立的抓取合成方法，使用生成式抓取卷积神经网络（GG-CNN）预测每个像素的抓取姿态和质量，在不进行抓取候选离散采样和长时间计算的情况下，对当前深度学习抓取技术的局限性进行了克服。 实验结果表明：GG-CNN 比当前最先进的技术具有同等性能，并具有轻量级、一次性生成的特点，从而可以实现 50Hz 的闭环控制，在非静态环境、物体移动和机器人控制不准确的情况下进行准确的抓取，对于具有敌对几何形状的物体可以实现 83% 的抓取成功率，在家居物品的抓取中可以实现 88% 的抓取成功率，在动态混杂物的抓取中可以实现 81% 的准确率。

    Apr, 2018

  • 超级自监督：通过 50K 次尝试和 700 机器人小时学习抓取

    本文采用大规模数据集和多阶段学习方法，使用卷积神经网络对机器人进行抓取任务，与几个基准进行比较，表现出了最先进的泛化能力。

    Sep, 2015