Sep, 2023

TransTouch：透明物体的深度感知学习与稀疏触摸

PDF
TL;DR通过使用触觉反馈的探测系统自动收集稀疏深度标签并对立体网络进行微调，结合触觉深度监督和基于置信度的正则化以优化深度感知，特别是对于透明物体而言，在真实世界中显著提高了深度感知的准确性。
发现论文，激发创造
  • Touch-GS：视觉 - 触觉监督的 3D 高斯点云渲染

    使用光学触觉传感器监督 3D 高斯扩散（3DGS）场景，利用高斯过程隐式曲面将触摸数据和视觉深度估计网络相结合，提出一种新的损失函数（方差加权深度监督损失）训练 3DGS 场景模型，实验证明该方法在几景合成上能够比单独使用视觉或触觉更好地从不透明、反射及透明物体中获取定量和定性的结果。

    Mar, 2024

  • 透明物体深度补全

    我们提出了一种透明物体深度补全的端到端网络，结合了基于单视图 RGB-D 的深度补全和多视图深度估计的优点，并引入了基于置信度估计的深度细化模块，进一步改进了恢复的深度图。在 ClearPose 和 TransCG 数据集上进行的大量实验证明，与现有方法相比，我们的方法在具有显著遮挡的复杂场景中实现了更高的准确性和鲁棒性。

    May, 2024

  • 学习透明与镜面表面的深度估计

    通过神经网络学习适当估计透明或镜面表面的深度，无需任何真实标注，通过图像修复和处理得到可靠的伪标签，用于微调现有的单目或双目网络以学习处理透明或镜面表面，实验证实了我们提出的简单方法带来的显著改进。

    Jul, 2023

  • Seeing Glass: 透明物体的点云和深度联合补全

    提出了一种新的透明物体的深度补全方法 TranspareNet，并成功建立了几乎 15000 张 RGB-D 图像的数据集 TODD，该方法不仅能够在复杂场景下对透明物体的深度进行精确的补全，而且也能够很好地处理有关干扰和混杂问题。

    Sep, 2021

  • 伪触感：高效感知机器人操作中物体表面的触觉

    通过学习低维度的视觉 - 触觉嵌入，本研究利用触觉传感器和视觉数据实现了机器人的触觉信号预测，成功应用于物体识别和抓握稳定性预测任务，并在后两个任务上展现了优越性能。

    Mar, 2024

  • 透明物体复杂背景下的视觉 - 触觉融合抓取

    本论文提出了一个适用于复杂背景和光线条件下透明对象抓取的视触融合框架，包括抓取位置检测、触觉校准和基于视触融合的分类。该框架综合了视觉和触觉的优势，极大地提高了透明对象的抓取效率。

    Nov, 2022

  • Snap-it, Tap-it, Splat-it: 用于重建具有挑战性表面的触觉感知的三维高斯散点

    通过将触觉数据与多视角视觉数据相结合，使用触觉引导的 3DGS 方法进行表面重建和新视角合成，以实现更准确的几何重建。

    Mar, 2024

  • 透明物体的三维形状估计和操作

    ClearGrasp 是一种基于深度学习的方法，能够从单个 RGB-D 图像中准确估计透明物体的 3D 几何形状，以应对透明度对 3D 传感器造成的困扰，其表现优于单眼深度估计基线，并可广泛适用于实际物体的抓取改善。

    Oct, 2019

  • MVTrans：透明物体的多视角感知

    本论文提出了一种名为 MVTrans 的新型多视点方法，采用多种感知能力，包括深度估计、分割和姿态估计，可用于透明物体检测，并建立了一个逼真的数据集合成管道 Syn-TODD 用于网络训练。

    Feb, 2023

  • TransCG：透明物体深度完成和抓取基线的大型实际数据集

    本研究提供了一种基于深度学习网络的方法，针对普通深度传感器获取透明物体深度信息的难题，构建了一个大规模真实场景数据集，同时提出了一种深度完成网络用于输出精度更高的透明物体深度信息，并且该方法能够成功地应用于机器人对透明物体的抓取。

    Feb, 2022