Jul, 2023

基于对抗学习方法的单目 RGB 图像实际可行的三维人类场景重建

PDF
TL;DR通过使用隐式的场景元素特征表征来区分合理和不合理的人体和物体对齐，在机器人感知中提出了一个以图形为基础的整体三维人体场景重建的方法，该学习方法实现了与现有基于优化的方法相当的三维重建质量，且不需要推理时间优化，适用于机器人导航等潜在应用中。
holistic 3d human-scene reconstructionphysically plausible alignmentgraph-based holistic representationlearning-based methodrobotic applications
发现论文，激发创造
  • 使用隐式表示从单张图像中全面理解三维场景

    本文提出了一种基于单幅图像的全面三维场景理解的新管道，该管道可以预测物体形状、物体姿态和场景布局，利用最新的深度隐式表示方法解决了物体形状和布局的不精确估计的问题，通过物理违规损失函数避免了物体之间的错误场景。实验结果表明，该方法在物体形状、场景布局估计和三维物体检测方面优于现有最先进技术。

    Mar, 2021

  • 从单个 RGB 图像进行全面的 3D 场景分析和重建

    本文提出了一种使用随机语法模型联合解析单个 RGB 图像并重建由一组 CAD 模型组成的整体 3D 配置的计算框架，并引入了一个全局场景语法（HSG）表示 3D 场景结构，进而以分析 - 合成方式解决该联合分析和重建问题。

    Aug, 2018

  • Holistic++ 场景理解：单视角三维全局场景解析和人体姿势估计，带人物 - 物品交互和物理常识

    该研究提出一种新的 3D 全局场景理解问题，旨在同时解决物体检测和重建、人体姿态估计，并利用人物 - 物体交互和物理常识优化场景的表现，最后使用马尔可夫蒙特卡罗方法，显著提高了算法的性能。

    Sep, 2019

  • 从单幅图像中综合估计三维人体和场景网格

    本文提出了一种端到端可训练模型，以单个 RGB 图像感知 3D 场景，估计相机姿态和室内布局，并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失，我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人体预测，并对场景和人体姿态进行联合优化的模型。

    Dec, 2020

  • 针对视觉环境重建的人类感知物体放置

    通过利用人与场景的交互可有效提高单目视频的 3D 场景重建，同时优化人的姿态估计，本论文基于三种 HSI 约束条件，即深度排序、是否穿插目标、接触面，使用优化方法再形成一致、物理合理且功能性 3D 场景布局，并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。

    Mar, 2022

  • 合作式整体场景理解：统一 3D 物体、布局和相机位姿估计

    本文提出了一种端到端模型，可以仅依靠单个 RGB 图像实时同时解决 3D 室内场景理解中的物体边界框、房间布局和相机姿势问题，并通过对目标进行参数化和协同训练等手段，显著提升了 3D 物体检测、3D 布局估计、3D 相机姿势估计和整体场景理解的精度。

    Oct, 2018

  • 从 RGB-D 数据中重构带有遮挡的 3D 人体姿势

    通过对场景信息和先前知识进行建模，我们提出了一种新的方法来从 RGB-D 图像中重建带有遮挡的 3D 人体，通过建模可能的姿势空间并使用深度数据约束可见身体部分，我们的方法在 PROX 数据集上的实验结果表明，与其他方法相比，能够产生更准确和合理的结果。

    Oct, 2023

  • 通过全景映射和 CAD 模型对齐重建交互式 3D 场景

    本文提出从机器人体验和交互的角度重新思考场景重建问题，通过 RGB-D 数据流实现一个交互场景的重建，该场景通过一个基于图的场景表示组织物体之间的物理常识来推理物体的可行性和上下文关系，并将物体网格替换为基于零件的关节 CAD 模型，以提供更细致的机器人交互。

    Mar, 2021

  • 穿着衣物的人物的单目仿真三维重建

    PHORHUM 提供了一种全新的、可端到端训练的、深度神经网络方法，用于基于单目 RGB 图像实现逼真的 3D 人体重建。

    Apr, 2022

  • 从单幅图像中感知野外 3D 人体 - 物体空间排列

    本文提出了一种在非受控环境下从野外拍摄的单张图像中推断人类和物体的空间布局和形状的方法，并证明了尝试联合考虑人类和物体可以通过引入 3D 常识约束来减少可能的 3D 空间配置。

    Jul, 2020