Nov, 2022

透明物体复杂背景下的视觉 - 触觉融合抓取

PDF
TL;DR本论文提出了一个适用于复杂背景和光线条件下透明对象抓取的视触融合框架，包括抓取位置检测、触觉校准和基于视触融合的分类。该框架综合了视觉和触觉的优势，极大地提高了透明对象的抓取效率。
visual-tactile fusiontransparent object graspinggrasping position detectiontactile calibrationobject classification
发现论文，激发创造
  • 手持物品重建的视觉触觉感知

    本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO，并将其扩展到手 - 物体重建的 VTacOH，并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估，展示了其在刚性和不可变形物体重建上具有优异的表现。

    Mar, 2023

  • 多模态几何学习用于抓取和操作

    本文提出使用 3D 卷积神经网络结构，融合深度学习和触觉信息来生成可用于机器人操作的丰富准确的三维模型，并通过实验证明，在几何推理方面具有优越性。

    Mar, 2018

  • 体积抓取网络：杂乱环境中实时六自由度抓取检测

    本研究介紹了一種使用體積把握網絡（VGN）的方法，該網絡通過使用由手腕安裝式深度相機收集的 3D 場景信息，從過去未見過的物體中預測並設計出能夠穩健地擷取物體的抓取方法。

    Jan, 2021

  • ASGrasp: 从 RGB-D 主动立体相机进行可迁移的透明物体重建与抓取

    本研究针对透明和反射对象的抓取问题，利用 RGB-D 主动立体相机提出了一种名为 ASGrasp 的 6 自由度抓取检测网络，通过透明物体的重建实现材料无关的抓持，优于现有的基于 RGB-D 的方法。

    May, 2024

  • 适用于透明和反光物体抓取的多模态迁移学习

    通过多模态感知的学习提高透明和有光泽物体的抓取性能，无需真实试验。

    May, 2020

  • 透明物体深度补全

    我们提出了一种透明物体深度补全的端到端网络，结合了基于单视图 RGB-D 的深度补全和多视图深度估计的优点，并引入了基于置信度估计的深度细化模块，进一步改进了恢复的深度图。在 ClearPose 和 TransCG 数据集上进行的大量实验证明，与现有方法相比，我们的方法在具有显著遮挡的复杂场景中实现了更高的准确性和鲁棒性。

    May, 2024

  • 神经场与神经场的感知：手中操作的视觉触觉感知

    通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

    Dec, 2023

  • Touch-GS：视觉 - 触觉监督的 3D 高斯点云渲染

    使用光学触觉传感器监督 3D 高斯扩散（3DGS）场景，利用高斯过程隐式曲面将触摸数据和视觉深度估计网络相结合，提出一种新的损失函数（方差加权深度监督损失）训练 3DGS 场景模型，实验证明该方法在几景合成上能够比单独使用视觉或触觉更好地从不透明、反射及透明物体中获取定量和定性的结果。

    Mar, 2024

  • TransTouch：透明物体的深度感知学习与稀疏触摸

    通过使用触觉反馈的探测系统自动收集稀疏深度标签并对立体网络进行微调，结合触觉深度监督和基于置信度的正则化以优化深度感知，特别是对于透明物体而言，在真实世界中显著提高了深度感知的准确性。

    Sep, 2023

  • 透明物体的三维形状估计和操作

    ClearGrasp 是一种基于深度学习的方法，能够从单个 RGB-D 图像中准确估计透明物体的 3D 几何形状，以应对透明度对 3D 传感器造成的困扰，其表现优于单眼深度估计基线，并可广泛适用于实际物体的抓取改善。

    Oct, 2019