基于全局到局部 RGB-D 适应的实境抓取检测

Mar, 2024

Sim-to-Real Grasp Detection with Global-to-Local RGB-D Adaptation

Haoxiang Ma, Ran Qin, Modi shi, Boyang Gao, Di Huang

TL;DR该论文通过领域适应问题将 RGB-D 抓握检测的问题转变为 sim-to-real 问题，并提出了一种全局到局部的方法来解决 RGB 和深度数据之间的差距以及多模态特征对齐的不足。在大量实验中，该方法显著减小了领域转移，并获得了令人满意的结果，证明了其有效性。

Abstract

This paper focuses on the sim-to-real issue of rgb-d grasp detection and formulates it as a domain adaptation problem. In this case, we pr

发现论文，激发创造

本文提出一种基于多任务领域适应的框架来解决机器人抓取的训练数据收集和标注的问题，借助仿真机器人实验来对杂乱场景下的抓取进行实例化，并通过领域对抗性损失将训练好的模型转移到真实机器人系统中，经过实际机器人实验的评估表明本文所提出的模型准确性比其他模型结构及基准模型都要高。

Oct, 2017

使用合成数据和领域自适应，可以将在真实世界中所需的样本数缩减至只使用随机生成的合成对象，并且可以使用无标签的真实世界数据和 GraspGAN 方法来获得类似于使用 939,777 个标记的真实世界样本所达到的真实世界抓取性能。

Sep, 2017

本文提出了 RGBD-Grasp 方法，通过卷积神经网络 Angle-View Net（AVN）预测抓手的 SO（3）方向和 FAS 模块计算抓手的张开宽度和与抓点的距离，解决机器人领域中的物体抓取问题，并在 GraspNet-1Billion 数据集上取得了最先进的结果。

Mar, 2021

通过使用单个 RGB 图像进行模块化学习网络来检测抓取姿势，本研究提出了一种有趣的方法，适用于配备平板夹具的机器人，不仅识别可抓取的物体，还将先前的抓取分析与语义分割融合，从而提高抓取检测精度，并且在处理模糊和嘈杂的视觉情况时表现出弹性，通过实际实验和评估证明了我们提出的方法的可行性和准确性。

Oct, 2023

本文提出了一种深度学习架构，用于预测机器人操作的适合抓取的位置，通过使用 RGB-D 图像输入的深度神经网络实现对单个或多个对象的多个抓取候选项的预测，实验表明该方法在 Cornell 数据集上表现优于其他方法，在掌握实验中也获得了不错的成功率。

Feb, 2018

本文介绍了一种基于学习抓取提案网络和学习三维形状重建网络的机器人抓取规划方法，使用几何重建来优化抓取提案网络生成的抓取点，实现了在图像中看不到抓取位置的情况下，对已知和未知物体进行准确抓取。实验结果表明，与其他模型相比，该方法在抓取任务中取得了更高的成功率。

Mar, 2020

运用深度学习方法解决机器人抓取问题，通过多模态组规则化结构化正则化权重来处理多模态输入，实现了比之前最先进方法更好的效果，可成功在两个不同的机器人平台上执行抓取。

Jan, 2013

本文关注于 6 自由度抓取检测方法的泛化能力。通过引入机器人抓握的领域先验知识，通过物理约束正则化和接触得分联合优化，提升了模型的泛化能力，并在实验中证明了该方法的有效性。

Apr, 2024

本文提出了一种新的 RGB-D DA 方法，使用卷积神经网络通过解决预文本任务来减少合成与真实数据领域之间的差异，对 RGB-D 数据的实例识别和对象分类进行了评估，并展示了利用跨模态关系进行 RGB-D DA 的优势。

Apr, 2020

通过使用 RGB-D 数据流和视觉技术，本研究提出了一种自动生成并适应新物体姿态的抓取轨迹的方法，通过将轨迹相对于物体框架进行投影，实现了在多个不同机器人设置和物体上的抓取任务的高效执行。

Oct, 2023