Oct, 2019

基于光场推理的折射物体透明度定位

PDF
TL;DR使用光场传感和照片逼真渲染提出了一种适用于透明物体的位姿估计算法 LIT，并引入相应数据集 ProLIT，实现了对透明物体的识别、定位和位姿估计。实验结果表明，在 ProLIT 数据集上，LIT 算法能够胜过现有的位姿估计方法。
transparencypose estimationlight-field sensingphotorealistic renderingrobot manipulation
发现论文，激发创造
  • TransCut: 从光场图像中透明物体的分割

    本文提出了一种利用光场图像属性的方法，结合图割优化和光场线性估计技术，解决了透明物体在计算机视觉中难以区分的问题，并通过光场数据集验证了该方法的可行性。

    Nov, 2015

  • LIME：实时内在材料估计

    该研究提出了实时材料估计的端到端方法，使用深度卷积编码器解码器结构的图像到图像翻译技术，精确获取漫反射和镜面高光的分离，并使用新的高效感知渲染损失，使实时视频中的虚拟物体拟真融合。

    Jan, 2018

  • TransNet: 透明物体类别级别的姿态估计

    TransNet 是一种使用局部深度补全和表面法向量估计技术来实现透明物体类别级位姿估计的两阶段管道，能够比同类别级位姿估计方法更好的提高位姿估计的准确性。

    Aug, 2022

  • LaTeRF: 标签和文本驱动的物体辐射场

    本研究提出了 LaTeRF 方法，通过引入 “对象性” 概率，扩展 NeRF 公式，结合自然语言描述、点标签等信息从场景中提取出感兴趣的物体，并结合预训练的 CLIP 模型和可微分对象渲染器来修复物体的遮挡部分。实验结果表明该方法在合成和真实数据集上均能实现高保真物体提取。

    Jul, 2022

  • TransNet：透明物体操作通过类别级别姿态估计

    通过使用局部深度完成和表面法线估计，本文提出了一种名为 TransNet 的两阶段管道，用于估计透明物体的类别级姿势，该方法在大规模透明物体数据集上进行了评估，并与现有的类别级姿势估计方法进行了比较。比较结果表明，TransNet 在透明物体的姿势估计准确度方面取得了改进，并且我们利用 TransNet 构建了一个用于机器人抓取、放置和倒液的自主透明物体操作系统。

    Jul, 2023

  • MVTrans：透明物体的多视角感知

    本论文提出了一种名为 MVTrans 的新型多视点方法，采用多种感知能力，包括深度估计、分割和姿态估计，可用于透明物体检测，并建立了一个逼真的数据集合成管道 Syn-TODD 用于网络训练。

    Feb, 2023

  • 学习隐式表面光场

    本研究提出了一种隐式表示法，以捕捉物体表面在光场中的视觉外观，并证明了该方法能够在使用单个真实 RGB 图像和对应的三维形状信息时预测未见过的物体的视觉外观。该方法建立了一个连续的表面光场表示，独立于几何形状，并且在特定照明条件下可嵌入到可变自编码器中进行生成新的外观的任务中。

    Mar, 2020

  • 透明物体深度补全的 RGB-D 本地隐式函数

    本文提出了一种基于局部隐式神经表示的方法，使用射线 - 体素对捕获透明物体的深度信息，并在缺失深度数据的情况下，利用迭代式自我纠正模型和大规模合成数据集进一步完善估计，实验结果表明，这种方法在合成和真实数据上均比现有的最佳方法 ClearGrasp 表现显著优越，并将推理速度提高了 20 倍。

    Apr, 2021

  • 控制光照对 Lambertian 物体的感知和操作

    本研究提出一种机器人工作空间大小的可控照明方法，使用低入射角定向照明技术，可以精确捕捉 Lambertian 物体的表面法线和深度不连续性，实现了无需高计算成本即可生成高质量信息的功能，包括通用抓取、变形测量，以及物体的姿态估计和跟踪。

    Apr, 2023

  • TransPose：用于透明物体的大规模多光谱数据集

    本文介绍了 TRansPose 多光谱数据集，该数据集包括 99 种透明物体，其中 43 种家用物品、27 种可回收垃圾、29 种化学实验室用品和 12 种非透明物体，可以提供更好的透明物体视觉识别和形状信息。

    Jul, 2023