Jun, 2024

Shape2.5D：用于深度和法线估计的无纹理表面数据集

PDF
TL;DR在计算机视觉中，重建无纹理表面面临着独特的挑战，主要是由于缺乏满足在没有纹理信息的情况下深度和法线估计的细微需求的专门数据集。我们介绍了一种新颖的大规模数据集 “Shape2.5D”，旨在填补这一空白。该数据集包含了 364k 个帧，涵盖了 2635 个 3D 模型和 48 个独特对象，为无纹理物体重建提供了深度和表面法线图。所提出的数据集包括使用 3D 建模软件渲染的合成图像，以模拟各种照明条件和观察角度。它还包括一个包含 4672 个由深度相机捕获的真实世界子集。我们使用修改过的编码器 - 解码器网络进行的全面基准测试展示了该数据集支持从 RGB 图像鲁棒地估计深度和法线的算法开发的能力。我们的开源数据生成流水线使得该数据集可以在未来的研究中进行扩展和适应。该数据集可在 https://github.com/saifkhichi96/Shape25D 公开获取。
texture-less surfacesdepth and normals estimationshape2.5ddatasetdepth camera
发现论文，激发创造
  • T-LESS: 一个用于无纹理物体 6D 姿态估计的 RGB-D 数据集

    本研究介绍了 T-LESS 数据集，用于计算纹理少的刚性物体的 6D 位姿，该数据集包括测试和训练图像，并提供两种类型的 3D 模型，同时揭示了该领域面临的挑战 - 尤其是在存在显著遮挡的情况下.

    Jan, 2017

  • 从单视图学习重构无纹理可变形表面

    论文提出了一种基于数据驱动的方法，可以用于从单张图片中预测纹理缺失表面的三维重建结果，结果可以表示为网格、法线或深度图等形式，研究表明在文中所述情境下，网格并不适用于处理纹理缺失表面的三维重建。该方法可以很好地泛化到未见过的物体，并且更优于目前最先进的 SfS 技术。

    Mar, 2018

  • HomebrewedDB：用于 3D 物体 6D 姿态估计的 RGB-D 数据集

    本文介绍了一个新的数据集和基准测试标准，主要针对从 3D 模型（有纹理和无纹理）训练，可扩展性，遮挡，光照和物体外观的变化等方面测试 6D 姿态估计算法的性能，并使用最先进的 DPOD 检测器来设置基线。

    Apr, 2019

  • 用于多视角三维重建的现实数据集

    本文介绍了一种包含近千个三维对象模型及超过 84 万个现实世界的 RGB 和深度图像数据集，旨在填补现有研究中缺乏的三维多视图重建的真实数据基准。该数据集通过半自动方式实现相机位置与物体姿态的精准标注，为形状重建、物体姿态估计、形状检索等 3D 应用提供了可能。数据集已开放，包含注释工具和评估基准源代码。

    Mar, 2022

  • STAR：用于改进物体检测和 6D 位姿估计的形状聚焦的纹理无关表征

    机器学习在物体检测和机器抓取的 6D 姿态估计方面取得了巨大进展，然而，由于视觉线索较少和卷积神经网络对纹理的偏好，无纹理和金属物体仍然带来了显著挑战。为了解决这个问题，我们提出了一种注重学习 CAD 模型并强调物体形状特征的无纹理方法。通过在训练数据渲染过程中对纹理进行随机化处理，以使焦点集中在学习物体形状特征上，消除了在生成训练数据时对真实物体实例或最终外观的需求。我们使用了专门为工业机器人设置并特色为无纹理和金属物体的 TLESS 和 ITODD 数据集进行评估。无纹理性还增强了对图像扰动（如成像噪声、运动模糊和亮度变化）的稳健性，这在机器人应用中很常见。代码和数据集公开在 github.com/hoenigpeter/randomized_texturing。

    Feb, 2024

  • A*3D 数据集：面向复杂环境的自动驾驶

    本文介绍了一份新的挑战性 A*3D 数据集，以满足自动驾驶研究任务在高度多样化的环境中的需求，并采用基于 RGB 图像和 LiDAR 数据的丰富多样的场景、时间和天气情况，其中包括重度遮挡和大量的夜间框架，共包含 39K 帧、7 个类别和 230K 个 3D 对象注释。对 A*3D 数据集进行广泛的 3D 对象检测基准评估，对高密度、白天 / 黑夜等各种属性给出了有趣的见解。

    Sep, 2019

  • MarrNet: 通过 2.5D 素描进行 3D 形状重建

    本文提出了一种名为 MarrNet 的端到端可训练模型，它在获取 2.5D 草图后，成功实现了 3D 物体形状的重建，从而解决了真实图像上的 3D 物体标注稀缺问题，并得到了最先进的 3D 物体形状重建效果。

    Nov, 2017

  • DepthSynth：基于 CAD 模型实时生成逼真合成数据用于 2.5D 识别

    通过模拟关键因素（如传感器噪声、材料反射、表面几何）生成真实的深度数据，以提高深度神经网络的训练效果。

    Feb, 2017

  • 高保真度的单视角 3D 场景重建

    从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务，我们提出了一种新颖的框架，用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示，利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染，克服了部分观测下形状和外观的模糊性，同时支持从新视点渲染图像。除了个体物体，我们的方法还支持将物体水平的表示组合成灵活的场景表示，从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。

    Nov, 2023

  • VEnvision3D：用于三维多任务模型研究的合成感知数据集

    开发一个统一的多任务基础模型已经成为计算机视觉研究中的一个关键挑战。本论文介绍了 VEnvision3D，一个用于多任务学习的大型 3D 合成感知数据集，包括深度补全、分割、上采样、场景识别和 3D 重建。对于每个任务的数据在相同场景下收集，使得任务在所使用的数据上本质上具有对齐的特点，从而可以探索多任务模型甚至基础模型的潜力。基于所提出数据集的特点，提出了几个新的基准测试，对端到端模型进行了广泛研究，揭示了未来研究的新观察、挑战和机会。此外，设计了一个简单的多任务网络，以展示 VEnvision3D 对基础模型可以提供的能力。我们的数据集和代码将在接受后开源。

    Feb, 2024