Dex-NeRF:使用神经辐射场感知透明物体
ClearGrasp是一种基于深度学习的方法,能够从单个RGB-D图像中准确估计透明物体的3D几何形状,以应对透明度对3D传感器造成的困扰,其表现优于单眼深度估计基线,并可广泛适用于实际物体的抓取改善。
Oct, 2019
本研究提供了一种基于深度学习网络的方法,针对普通深度传感器获取透明物体深度信息的难题,构建了一个大规模真实场景数据集,同时提出了一种深度完成网络用于输出精度更高的透明物体深度信息,并且该方法能够成功地应用于机器人对透明物体的抓取。
Feb, 2022
本文提出了一种基于多视角 RGB 的 6 自由度预抓取检测网络 GraspNeRF,利用可转换的神经辐射场(NeRF)实现材料无关的物体预抓取,在杂乱的环境下可实时检测出 6 自由度的抓取,实验结果表明该方法在合成和真实环境中表现优异。
Oct, 2022
通过利用神经辐射场(NeRF)的一个紧凑的单一图像表示,我们能够从单一图像中推断物体渲染,三维重建和抓握姿势预测,从而比先前方案小两个到三个数量级,而实现可比的视图重建和抓握性能。
Oct, 2022
通过语言嵌入辐射场以任务导向的方式抓取物体的LERF-TOGO方法,在不使用特定物体部分数据的情况下使用基于学习的抓取规划器,可以实现对物体的抓取分布进行查询和排名。
Sep, 2023
该研究介绍了一种名为RFTrans的基于RGB-D的透明物体表面法线估计和操作方法,利用折射流作为中间表示,有效解决了RGB-D相机在透明物体几何测量方面的问题,并可用于实现直接的仿真到实际应用的转化。实验结果表明,通过合成数据集的训练,RFTrans在合成和现实世界基准测试中始终明显优于ClearGrasp基准,最终在现实世界中的机器人抓取任务中取得了83%的成功率。
Nov, 2023
使用Visual Foundation Models(VFMs)以零样本、无标签的方式,通过同时重建语义场和增强模型来指导NeRF重建过程,从而获取透明物体的准确深度信息。我们的方法SAID-NeRF在透明物体深度完成数据集和机器人抓取方面展现了显著的性能。
Mar, 2024
通过提出一种名为Residual-NeRF的方法,能够改善不透明物体的深度感知和训练速度,该方法通过学习场景的背景NeRF并结合背景和残差NeRFs进行推断,提供了综合性和真实性实验证明Residual-NeRF能够改善透明物体的深度感知。
May, 2024
我们提出了一种透明物体深度补全的端到端网络,结合了基于单视图RGB-D的深度补全和多视图深度估计的优点,并引入了基于置信度估计的深度细化模块,进一步改进了恢复的深度图。在ClearPose和TransCG数据集上进行的大量实验证明,与现有方法相比,我们的方法在具有显著遮挡的复杂场景中实现了更高的准确性和鲁棒性。
May, 2024
本研究解决了机器人对物体部件进行高效和零次抓取的能力问题,弥补了现有方法在场景变化和部件定位上的不足。提出的GraspSplats利用深度监督和新颖的参考特征计算方法,能够在60秒内生成高质量的场景表示,实验证明其在实时抓取采样和动态物体操作方面的优势,显著优于现有方法。
Sep, 2024