- 透明物体深度补全
我们提出了一种透明物体深度补全的端到端网络,结合了基于单视图 RGB-D 的深度补全和多视图深度估计的优点,并引入了基于置信度估计的深度细化模块,进一步改进了恢复的深度图。在 ClearPose 和 TransCG 数据集上进行的大量实验证 - 水滴污染对透明度分割的影响
本研究评估了透明物体与环境干扰(如水汽)共同作用的组合,并引入了一个包含 489 个图片的新型公开数据集,检查了透明性处理的结果对透明物体的污染程度的影响。我们的研究表明,被污染的透明物体更容易被分割,并且我们能够利用当前最先进的机器学习模 - Residual-NeRF: 学习透明物体操作的残差 NeRFs
通过提出一种名为 Residual-NeRF 的方法,能够改善不透明物体的深度感知和训练速度,该方法通过学习场景的背景 NeRF 并结合背景和残差 NeRFs 进行推断,提供了综合性和真实性实验证明 Residual-NeRF 能够改善透明 - ASGrasp: 从 RGB-D 主动立体相机进行可迁移的透明物体重建与抓取
本研究针对透明和反射对象的抓取问题,利用 RGB-D 主动立体相机提出了一种名为 ASGrasp 的 6 自由度抓取检测网络,通过透明物体的重建实现材料无关的抓持,优于现有的基于 RGB-D 的方法。
- SAID-NeRF:透明物体的分割辅助 NeRF 深度补全
使用 Visual Foundation Models(VFMs)以零样本、无标签的方式,通过同时重建语义场和增强模型来指导 NeRF 重建过程,从而获取透明物体的准确深度信息。我们的方法 SAID-NeRF 在透明物体深度完成数据集和机器 - 透明物体追踪的新数据集与干扰识别架构
现代跟踪器在透明物体上的性能大幅下降,原因是透明物体的外观受背景影响且通常包含视觉上相似的物体(干扰因素)。鉴于透明物体跟踪缺乏大型训练数据集,本文提出了首个透明物体跟踪训练数据集 Trans2k,包含超过 2k 序列和 104,343 张 - RFTrans: 借助透明物体的折射流推断进行表面法线估计与操作
该研究介绍了一种名为 RFTrans 的基于 RGB-D 的透明物体表面法线估计和操作方法,利用折射流作为中间表示,有效解决了 RGB-D 相机在透明物体几何测量方面的问题,并可用于实现直接的仿真到实际应用的转化。实验结果表明,通过合成数据 - 透明桌面场景重建:通过单眼深度补全优化的极线引导光流
使用廉价的 RGB-D 相机对透明物体进行重建是机器人感知中的持久挑战,由于 RGB 领域中视图不一致以及单视图中不准确的深度读数。我们提出了一个专为移动平台量身定制的透明物体重建两阶段流程:在第一阶段,利用现成的单目物体分割和深度补全网络 - STOPNet: 基于多视角的透明物体生产线上的 6 自由度吸附检测
基于多视野立体的 STOPNet 框架实现了 6 自由度的透明物体的生产线吸口检测,能够实时重建整个三维场景并获取高质量吸口位姿,具备较好的泛化能力。
- TransTouch:透明物体的深度感知学习与稀疏触摸
通过使用触觉反馈的探测系统自动收集稀疏深度标签并对立体网络进行微调,结合触觉深度监督和基于置信度的正则化以优化深度感知,特别是对于透明物体而言,在真实世界中显著提高了深度感知的准确性。
- 透明物体跟踪与增强融合模块
透明物体的跟踪是许多机器人任务的关键,本文介绍了一种新的功能融合技术,将透明性信息嵌入到固定的特征空间中,用于透明物体跟踪,从而实现了优于现有方法的结果。
- FDCT:透明物体的快速深度补全
提出了一种适用于透明物体的快速深度补全框架(FDCT),通过利用局部信息和设计新的融合分支和捷径,以及使用损失函数来抑制过拟合问题,实现了准确且易于使用的深度矫正框架。该框架可以仅通过 RGB-D 图像恢复稠密深度估计,运行速度约为 70 - TransNet:透明物体操作通过类别级别姿态估计
通过使用局部深度完成和表面法线估计,本文提出了一种名为 TransNet 的两阶段管道,用于估计透明物体的类别级姿势,该方法在大规模透明物体数据集上进行了评估,并与现有的类别级姿势估计方法进行了比较。比较结果表明,TransNet 在透明物 - TransPose:用于透明物体的大规模多光谱数据集
本文介绍了 TRansPose 多光谱数据集,该数据集包括 99 种透明物体,其中 43 种家用物品、27 种可回收垃圾、29 种化学实验室用品和 12 种非透明物体,可以提供更好的透明物体视觉识别和形状信息。
- 基于 Segment Anything 模型的玻璃钢镜和透明物体难以检测
Meta AI Research 发布了基于超过 10 亿掩模的大型分割数据集训练的 SAM 模型,尽管 SAM 在诸多领域具备强大的能力,但我们的经验评估表明该模型存在在透明物体场景中无法检测的问题。特别是在含有各种形式的玻璃的安全关键情 - WWWNeTO: 自遮挡感知的折射追踪技术用于透明物体的神经重建
NeTO 是一种通过体积渲染的,利用带有自遮挡感知的折射光线跟踪优化带隐式符号距离函数(Signed Distance Function)表面表示的方法,能够重建高质量的透明物体三维图像,且在正确重建自遮挡区域方面表现优异。
- 基于后视 NOCS 的双目图像透明物体类别级别的 6D 姿态估计
提出了一种新的基于立体影像系的分类物体姿态估计框架 StereoPose,能够有效地解决透明物体的姿态识别问题,并通过使用反视 NOCS 映射和视差注意力模块等方法,进一步优化了算法的性能。
- TransNet: 透明物体类别级别的姿态估计
TransNet 是一种使用局部深度补全和表面法向量估计技术来实现透明物体类别级位姿估计的两阶段管道,能够比同类别级位姿估计方法更好的提高位姿估计的准确性。
- ECCVTransMatting: 使用 Transformer 增强透明对象抠图
这篇文章提出了一种基于 Transformer 的网络 ——TransMatting,能够模拟具有大感受野的透明对象。文章重新设计了 trimap,使用三个可学习的三元标记,以引入高级语义特征到自注意机制中。作者还使用一个小型卷积网络来利用 - 3D 透明物体混合 Mesh-neural 表示法的重建
本研究提出了一种基于手持拍摄的自然光下重建透明物体的 3D 形状的新方法,该方法采用了显式网格和多层感知器网络(MLP)的混合表示,通过多视图剪影获得初始形状,并使用基于表面的局部 MLP 编码顶点位移场(VDF)进行表面细节的重建。定义在