Nov, 2015

使用合成数据理解现实世界室内场景的 SceneNet

PDF
TL;DR本文研究场景理解问题，通过使用计算机图形学生成合成 3D 场景，以解决手动收集大量数据问题，从而避免了收集数据的麻烦和昂贵成本。通过使用深度数据作为输入仅使用 RGB-D 系统的深度数据，我们在 NYUv2 数据集上的表现相当于最先进的 RGBD 系统，并在 SUN RGB-D 数据集上设置了基准。文章还探讨了生成合成图像或视频数据，以及分析影响性能增益的不同因素。
scene understandingsupervised learningsemantic labelingcomputer graphicssynthetic data
发现论文，激发创造
  • 基于卷积神经网络的室内场景理解的物理渲染

    本研究介绍了一个大规模的合成数据集，该数据集包括来自 4.5k 个室内场景的 40 万张基于物理的渲染图像，研究了不同的渲染方法和场景照明对深度学习算法在表面法线预测、语义分割和物体边界检测三个计算机视觉任务中的影响，并表明，使用这个新的合成数据集进行预训练可以提高所有三个任务的结果。

    Dec, 2016

  • Hypersim：一个逼真的室内全景场景综合数据集

    本文介绍了一种名为 Hypersim 的、具备完整的室内场景计算机视觉理解的合成数据集，该数据集为场景、对象和像素级别提供完整的标注信息，并且评估了数据集的生成成本，并证明了使用该数据集进行预训练可以显著改善语义分割和 3D 形状预测任务的性能。

    Nov, 2020

  • DepthSynth：基于 CAD 模型实时生成逼真合成数据用于 2.5D 识别

    通过模拟关键因素（如传感器噪声、材料反射、表面几何）生成真实的深度数据，以提高深度神经网络的训练效果。

    Feb, 2017

  • 自主智能体的 2.5/3D 室内场景理解：一份综述

    本文系统地总结介绍了低成本稳定的 2.5/3D 视觉感知器件在计算机视觉领域中如何应用于室内环境中的视觉场景理解，包括数据表示，核心技术，场景理解任务，性能评价以及面临的挑战。

    Mar, 2018

  • SceneNet RGB-D: 500 万逼真合成室内运动轨迹图像及地面真实性数据集

    SceneNet RGB-D 提供了室内场景轨迹的大规模真实渲染，为场景理解和几何计算机视觉问题提供像素级完美的标签数据，以及适用于从头开始使用 RGB-D 输入的数据驱动的计算机视觉技术的预训练数据集，并且也提供了探索 3D 场景标注任务的基础。

    Dec, 2016

  • 城市场景语义分割中合成数据的有效使用

    本文提出了一种无需真实图像数据的方法，通过修改前景和背景类的训练方法来适应合成图像，有效地训练出了适用于城市街景和驾驶场景的图像语义分割模型。

    Jul, 2018

  • ARKitScenes: 使用移动 RGB-D 数据的 3D 室内场景理解多样化真实世界数据集

    介绍了 ARKitScenes，这是第一个使用 RGB-D 数据集且具有广泛可用深度传感器的室内场景认知数据集，并分析了数据集的有用性，包括用于 3D 对象检测和颜色引导深度上采样。

    Nov, 2021

  • 使用随机文法进行可配置的 3D 场景合成和 2D 图像渲染，同时提供每个像素的真实值

    采用基于学习的方法生成大规模的合成三维场景和任意数量的真实感二维图像，用于训练、基准测试和诊断学习基础的计算机视觉和机器人算法。

    Apr, 2017

  • 通过视角合成实现分层结构化三维场景推断

    该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法，使用视图合成作为代理任务来弥补直接监督缺失的不足，并展示了其在两种不同场景下的定性和定量验证结果。

    Jul, 2018

  • 室内场景物体检测训练数据的合成

    本文探讨了使用合成图像训练最先进的对象检测器，特别是针对对象实例检测。我们在实际环境的图像中将纹理对象模型的 2D 图像叠加在一起，以便在各种位置和比例上进行训练。通过这些实验，我们证明了利用现有的对象模型仓库为新对象训练检测器的新机会。

    Feb, 2017