CVPRFeb, 2020

从单张图像中实现室内场景的联合布局、物体姿态和网格重建的全面 3D 理解

PDF
TL;DR提出了一种端到端的解决方案，通过从单个图像中重建室内场景布局，物体包围盒和网格来解决室内场景的语义重建问题，实验证明该方法在室内布局估计，三维物体检测和网格重建方面的表现优于现有方法。
indoor scenessemantic reconstructionend-to-end solutionroom layoutobject bounding boxes
发现论文，激发创造
  • 合作式整体场景理解：统一 3D 物体、布局和相机位姿估计

    本文提出了一种端到端模型，可以仅依靠单个 RGB 图像实时同时解决 3D 室内场景理解中的物体边界框、房间布局和相机姿势问题，并通过对目标进行参数化和协同训练等手段，显著提升了 3D 物体检测、3D 布局估计、3D 相机姿势估计和整体场景理解的精度。

    Oct, 2018

  • 从单幅图像中综合估计三维人体和场景网格

    本文提出了一种端到端可训练模型，以单个 RGB 图像感知 3D 场景，估计相机姿态和室内布局，并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失，我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人体预测，并对场景和人体姿态进行联合优化的模型。

    Dec, 2020

  • 室内重建的联合布局估计和全局多视图配准

    本文提出了一种新颖的方法，用于精确的室内 3D 重建，通过 KinectFusion 先建立场景碎片并通过姿态图优化进行注册，然后通过层次凝聚聚类和基于能量的多模型拟合的方式提取场景布局，最后通过全局迭代最近点算法进行点云的全局配准。

    Apr, 2017

  • 使用隐式表示从单张图像中全面理解三维场景

    本文提出了一种基于单幅图像的全面三维场景理解的新管道，该管道可以预测物体形状、物体姿态和场景布局，利用最新的深度隐式表示方法解决了物体形状和布局的不精确估计的问题，通过物理违规损失函数避免了物体之间的错误场景。实验结果表明，该方法在物体形状、场景布局估计和三维物体检测方面优于现有最先进技术。

    Mar, 2021

  • Holistic++ 场景理解：单视角三维全局场景解析和人体姿势估计，带人物 - 物品交互和物理常识

    该研究提出一种新的 3D 全局场景理解问题，旨在同时解决物体检测和重建、人体姿态估计，并利用人物 - 物体交互和物理常识优化场景的表现，最后使用马尔可夫蒙特卡罗方法，显著提高了算法的性能。

    Sep, 2019

  • 室内场景的完整三维模型预测

    本文提出了一种基于数据驱动的方法解释室内场景，并利用 CAD 3D 模型表示场景中的物体和墙壁布局，最终在 NYU 数据集上呈现了令人鼓舞的结果。

    Apr, 2015

  • 自主智能体的 2.5/3D 室内场景理解：一份综述

    本文系统地总结介绍了低成本稳定的 2.5/3D 视觉感知器件在计算机视觉领域中如何应用于室内环境中的视觉场景理解，包括数据表示，核心技术，场景理解任务，性能评价以及面临的挑战。

    Mar, 2018

  • 从单个 RGB 图像进行全面的 3D 场景分析和重建

    本文提出了一种使用随机语法模型联合解析单个 RGB 图像并重建由一组 CAD 模型组成的整体 3D 配置的计算框架，并引入了一个全局场景语法（HSG）表示 3D 场景结构，进而以分析 - 合成方式解决该联合分析和重建问题。

    Aug, 2018

  • 室内场景理解中的 2D-3D - 语义数据联合

    该文介绍了一个大规模室内空间数据集，其中包含 2D、2.5D 和 3D 接口的多种相互注册的模态，并具有实例级别的语义和几何注释。该数据集使得可以开发联合和跨模态学习模型，以及可能利用大规模室内空间中存在的规律性的无监督方法。

    Feb, 2017

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020