CVPRMar, 2021

使用隐式表示从单张图像中全面理解三维场景

PDF
TL;DR本文提出了一种基于单幅图像的全面三维场景理解的新管道，该管道可以预测物体形状、物体姿态和场景布局，利用最新的深度隐式表示方法解决了物体形状和布局的不精确估计的问题，通过物理违规损失函数避免了物体之间的错误场景。实验结果表明，该方法在物体形状、场景布局估计和三维物体检测方面优于现有最先进技术。
发现论文，激发创造
  • 从单幅图像中综合估计三维人体和场景网格

    本文提出了一种端到端可训练模型，以单个 RGB 图像感知 3D 场景，估计相机姿态和室内布局，并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失，我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人体预测，并对场景和人体姿态进行联合优化的模型。

    Dec, 2020

  • 基于对抗学习方法的单目 RGB 图像实际可行的三维人类场景重建

    通过使用隐式的场景元素特征表征来区分合理和不合理的人体和物体对齐，在机器人感知中提出了一个以图形为基础的整体三维人体场景重建的方法，该学习方法实现了与现有基于优化的方法相当的三维重建质量，且不需要推理时间优化，适用于机器人导航等潜在应用中。

    Jul, 2023

  • 从单幅图像中感知野外 3D 人体 - 物体空间排列

    本文提出了一种在非受控环境下从野外拍摄的单张图像中推断人类和物体的空间布局和形状的方法，并证明了尝试联合考虑人类和物体可以通过引入 3D 常识约束来减少可能的 3D 空间配置。

    Jul, 2020

  • 合作式整体场景理解：统一 3D 物体、布局和相机位姿估计

    本文提出了一种端到端模型，可以仅依靠单个 RGB 图像实时同时解决 3D 室内场景理解中的物体边界框、房间布局和相机姿势问题，并通过对目标进行参数化和协同训练等手段，显著提升了 3D 物体检测、3D 布局估计、3D 相机姿势估计和整体场景理解的精度。

    Oct, 2018

  • Holistic++ 场景理解：单视角三维全局场景解析和人体姿势估计，带人物 - 物品交互和物理常识

    该研究提出一种新的 3D 全局场景理解问题，旨在同时解决物体检测和重建、人体姿态估计，并利用人物 - 物体交互和物理常识优化场景的表现，最后使用马尔可夫蒙特卡罗方法，显著提高了算法的性能。

    Sep, 2019

  • 学习三维物体的形状和布局，无需三维监督

    本研究提出了一种基于多视图图像的方法，用于识别三维场景的对象形状和布局，通过在大型数据集上的实验，证明该方法可扩展应用于现实图像，并与依赖三维信息的方法相比，表现得更好。

    Jun, 2022

  • 每个像素都很重要：利用整体三维运动理解进行无监督几何学习

    本文通过在未标记视频上观看，利用深度卷积神经网络来学习单张图像的三维几何估计，通过将像素水平的三维物体运动加入到学习框架中，提供了整体的三维场景流理解并有助于单张图像的几何估计。

    Jun, 2018

  • 通过详细的 3D 物体表征实现场景理解

    本文提出了一种基于 3D 可变形线框的高分辨率车辆对象表示，该表示能精细地建模单个点和面的水平，结合此表示和明确的 3D 场景模型，我们能够对场景进行更细致和准确的理解并从单个视角评估多个对象的位置与视点的单眼 3D 姿态估计。

    Nov, 2014

  • 基于空间变换器的单视角三维重建中的隐性学习

    利用 LIST 神经网络架构，借助局部和全局图像特征，精确地从单张图像中重建 3D 物体的几何和拓扑结构，既可以预测目标物体的粗糙形状，又能通过隐式预测器准确地预测任意点与目标表面之间的有向距离，模型在重建合成和真实世界图像中的 3D 物体方面表现出卓越的优势。

    Jul, 2023

  • 从 3D 场景的 2D 图像中分解形状、姿态和布局

    本文使用卷积神经网络预测包含表面和物体形态与姿势的场景的三维结构，从实践和实验角度评估和比较不同的场景表示方法

    Dec, 2017