ICCVSep, 2019

Holistic++ 场景理解：单视角三维全局场景解析和人体姿势估计，带人物 - 物品交互和物理常识

PDF
TL;DR该研究提出一种新的 3D 全局场景理解问题，旨在同时解决物体检测和重建、人体姿态估计，并利用人物 - 物体交互和物理常识优化场景的表现，最后使用马尔可夫蒙特卡罗方法，显著提高了算法的性能。
3d scene understandingholistic scene parsinghuman-object interactionphysical commonsensemarkov chain monte carlo
发现论文，激发创造
  • 合作式整体场景理解：统一 3D 物体、布局和相机位姿估计

    本文提出了一种端到端模型，可以仅依靠单个 RGB 图像实时同时解决 3D 室内场景理解中的物体边界框、房间布局和相机姿势问题，并通过对目标进行参数化和协同训练等手段，显著提升了 3D 物体检测、3D 布局估计、3D 相机姿势估计和整体场景理解的精度。

    Oct, 2018

  • 从单个 RGB 图像进行全面的 3D 场景分析和重建

    本文提出了一种使用随机语法模型联合解析单个 RGB 图像并重建由一组 CAD 模型组成的整体 3D 配置的计算框架，并引入了一个全局场景语法（HSG）表示 3D 场景结构，进而以分析 - 合成方式解决该联合分析和重建问题。

    Aug, 2018

  • 从单幅图像中综合估计三维人体和场景网格

    本文提出了一种端到端可训练模型，以单个 RGB 图像感知 3D 场景，估计相机姿态和室内布局，并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失，我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人体预测，并对场景和人体姿态进行联合优化的模型。

    Dec, 2020

  • 基于对抗学习方法的单目 RGB 图像实际可行的三维人类场景重建

    通过使用隐式的场景元素特征表征来区分合理和不合理的人体和物体对齐，在机器人感知中提出了一个以图形为基础的整体三维人体场景重建的方法，该学习方法实现了与现有基于优化的方法相当的三维重建质量，且不需要推理时间优化，适用于机器人导航等潜在应用中。

    Jul, 2023

  • 使用隐式表示从单张图像中全面理解三维场景

    本文提出了一种基于单幅图像的全面三维场景理解的新管道，该管道可以预测物体形状、物体姿态和场景布局，利用最新的深度隐式表示方法解决了物体形状和布局的不精确估计的问题，通过物理违规损失函数避免了物体之间的错误场景。实验结果表明，该方法在物体形状、场景布局估计和三维物体检测方面优于现有最先进技术。

    Mar, 2021

  • 针对视觉环境重建的人类感知物体放置

    通过利用人与场景的交互可有效提高单目视频的 3D 场景重建，同时优化人的姿态估计，本论文基于三种 HSI 约束条件，即深度排序、是否穿插目标、接触面，使用优化方法再形成一致、物理合理且功能性 3D 场景布局，并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。

    Mar, 2022

  • 从单张图像中实现室内场景的联合布局、物体姿态和网格重建的全面 3D 理解

    提出了一种端到端的解决方案，通过从单个图像中重建室内场景布局，物体包围盒和网格来解决室内场景的语义重建问题，实验证明该方法在室内布局估计，三维物体检测和网格重建方面的表现优于现有方法。

    Feb, 2020

  • 学习人 - 场景交互生成 3D 场景

    本文提出了 POSA 模型，用来学习人体与场景的交互，包括接触概率和语义场景标签，并展示了其在 3D 人物自动放置和一致的单目人体姿态估计方面的改进。

    Dec, 2020

  • 人体和物体交互的详细 2D-3D 联合表示

    本论文提出了一种详细的 2D-3D 联合表示学习方法，能够使计算机更好地理解人物和物体之间的交互行为，效果在大规模的 HOI 基准和 Ambiguous-HOI 数据集上表现良好。

    Apr, 2020

  • DeepPanoContext: 全景三维场景理解，基于整体场景上下文图和基于关系的优化

    本研究提出了一种基于全景图像的新颖的三维场景理解方法，通过设计基于图神经网络的上下文模型来预测物体之间的关系和房间布局，以及可微分的基于关系的优化模块来优化物体排列，实现对全景三维场景的理解， 并制备了具有多样化房间布局和家具摆放的真实感合成数据集，在几何精度和目标布置方面优于现有方法。

    Aug, 2021