Feb, 2024

STAR：用于改进物体检测和 6D 位姿估计的形状聚焦的纹理无关表征

PDF
TL;DR机器学习在物体检测和机器抓取的 6D 姿态估计方面取得了巨大进展，然而，由于视觉线索较少和卷积神经网络对纹理的偏好，无纹理和金属物体仍然带来了显著挑战。为了解决这个问题，我们提出了一种注重学习 CAD 模型并强调物体形状特征的无纹理方法。通过在训练数据渲染过程中对纹理进行随机化处理，以使焦点集中在学习物体形状特征上，消除了在生成训练数据时对真实物体实例或最终外观的需求。我们使用了专门为工业机器人设置并特色为无纹理和金属物体的 TLESS 和 ITODD 数据集进行评估。无纹理性还增强了对图像扰动（如成像噪声、运动模糊和亮度变化）的稳健性，这在机器人应用中很常见。代码和数据集公开在 github.com/hoenigpeter/randomized_texturing。
machine learningobject detection6d pose estimationtextureless objectsmetallic objects
发现论文，激发创造
  • 无纹理物体识别：一种基于边缘的方法

    应用图像处理技术创建了由边缘特征、特征组合和增强的 RGB 图像构成的 15 个数据集，在这些数据集上训练的四个分类器中，以 RGB 图像和三种边缘特征的组合获得的数据集表现最佳，其中 HED 边缘的性能相对于 Canny 或 Prewitt 等其他边缘检测器更好。

    Mar, 2024

  • T-LESS: 一个用于无纹理物体 6D 姿态估计的 RGB-D 数据集

    本研究介绍了 T-LESS 数据集，用于计算纹理少的刚性物体的 6D 位姿，该数据集包括测试和训练图像，并提供两种类型的 3D 模型，同时揭示了该领域面临的挑战 - 尤其是在存在显著遮挡的情况下.

    Jan, 2017

  • 形状纹理去偏的神经网络训练

    本研究通过引入与图片纹理信息矛盾的图片来训练卷积神经网络，解决了网络对于形状或纹理的偏向性问题，并通过在多个图像识别基准测试和对抗性鲁棒性方面的实验表明，成功地提高了模型的表现。

    Oct, 2020

  • Shape2.5D：用于深度和法线估计的无纹理表面数据集

    在计算机视觉中，重建无纹理表面面临着独特的挑战，主要是由于缺乏满足在没有纹理信息的情况下深度和法线估计的细微需求的专门数据集。我们介绍了一种新颖的大规模数据集 “Shape2.5D”，旨在填补这一空白。该数据集包含了 364k 个帧，涵盖了 2635 个 3D 模型和 48 个独特对象，为无纹理物体重建提供了深度和表面法线图。所提出的数据集包括使用 3D 建模软件渲染的合成图像，以模拟各种照明条件和观察角度。它还包括一个包含 4672 个由深度相机捕获的真实世界子集。我们使用修改过的编码器 - 解码器网络进行的全面基准测试展示了该数据集支持从 RGB 图像鲁棒地估计深度和法线的算法开发的能力。我们的开源数据生成流水线使得该数据集可以在未来的研究中进行扩展和适应。该数据集可在 https://github.com/saifkhichi96/Shape25D 公开获取。

    Jun, 2024

  • TexPose：自监督 6D 物体姿态估计的神经纹理学习

    本文介绍了通过神经纹理学习从合成数据和少量未标记真实图像中估算 6D 物体姿势的方法，并提出了一种新的学习方案以消除以前工作的缺点。

    Dec, 2022

  • 利用本地表面嵌入技术在彩色图像中实现未知物体的三维目标检测和姿态估计

    该研究提出了一种结合了深度学习和三维几何的方法，利用未带纹理的 CAD 模型和不需要针对新对象进行训练的方法，检测和估计图像中物体的 3D 姿态，并利用 Mask-RCNN 实现无需重新训练的对象检测，从而限制可能的对应关系数量。实验结果表明，该方法与之前的方法相当或更好。

    Oct, 2020

  • 从 RGB 图像中学习 6D 物体探测的隐式三维方向

    我们提出了一种基于实时 RGB 的管道来实现物体检测和六自由度姿态估计。我们的创新性三维方向估计基于域随机化训练的三维模型的模拟视图，采用了变体的降噪自编码器。我们称之为增强自编码器相较于现有方法具有多个优点：它不需要真实标注的训练数据，适用于各种测试传感器，固有的处理物体和视角对称性。我们提出了一种隐式表征物体方向的方法，定义了潜在空间内的样本，而不是学习从输入图像到对象姿态的显式映射。我们的管道在 T-LESS 数据集的 RGB 和 RGB-D 领域均取得了最新成果。我们还在 LineMOD 数据集上进行评估，其中我们可以与其他合成训练方法竞争。当物体偏离图像中心时，通过纠正三维方向估计来进一步提高性能，并展示了扩展结果。

    Feb, 2019

  • 从单视图学习重构无纹理可变形表面

    论文提出了一种基于数据驱动的方法，可以用于从单张图片中预测纹理缺失表面的三维重建结果，结果可以表示为网格、法线或深度图等形式，研究表明在文中所述情境下，网格并不适用于处理纹理缺失表面的三维重建。该方法可以很好地泛化到未见过的物体，并且更优于目前最先进的 SfS 技术。

    Mar, 2018

  • 使用可微分渲染技术，通过移动设备获取带纹理物体的网格模型

    本研究提出了一种新的流程来使用一部智能手机获取真实世界中带纹理的网格模型，使用 RGBD 辅助构建方法生成过滤的深度图和精确的相机姿势，核心技术采用神经隐式表达重建算法以及不同 iable 的渲染方法生成更加接近真实场景的纹理，并验证了该方法的性能对比其他 3D 重建 + 贴图算法。

    Mar, 2023

  • HomebrewedDB：用于 3D 物体 6D 姿态估计的 RGB-D 数据集

    本文介绍了一个新的数据集和基准测试标准，主要针对从 3D 模型（有纹理和无纹理）训练，可扩展性，遮挡，光照和物体外观的变化等方面测试 6D 姿态估计算法的性能，并使用最先进的 DPOD 检测器来设置基线。

    Apr, 2019