Dec, 2020

从单幅图像中综合估计三维人体和场景网格

PDF
TL;DR本文提出了一种端到端可训练模型，以单个 RGB 图像感知 3D 场景，估计相机姿态和室内布局，并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失，我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人体预测，并对场景和人体姿态进行联合优化的模型。
3d scenecamera poseroom layouthuman body mesh methodsindoor scene reconstruction methods
发现论文，激发创造
  • 从单张图像中实现室内场景的联合布局、物体姿态和网格重建的全面 3D 理解

    提出了一种端到端的解决方案，通过从单个图像中重建室内场景布局，物体包围盒和网格来解决室内场景的语义重建问题，实验证明该方法在室内布局估计，三维物体检测和网格重建方面的表现优于现有方法。

    Feb, 2020

  • 自监督单张图像下的三维人体姿态估计

    本论文提出了一种新的自我监督方法，通过训练不带标签的典型姿势图像数据集和未成对的 2D 姿势数据，从而实现了从单幅图像预测 3D 人体姿势的网络映射，可用于快速应用于其他人工结构（例如动物）的姿态估计。

    Apr, 2023

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • 单图像三维人体姿态估计的双源方法

    本研究提出一种利用双重数据源，结合深度神经网络和运动捕捉数据，实现从单张图片中估计三维人体姿态的方法，并对该方法进行了全面评估。

    May, 2017

  • 从单幅图像中强健地估计 3D 人体姿态

    提出了一种在现有 2D 姿态检测器的基础上，从单张图像中估计 3D 人体姿态的方法，通过线性组合稀疏基，实施限制并优化，得出该方法在三个基准数据集上的表现优于现有技术。

    Jun, 2014

  • 学习三维场景中的人体网格恢复

    提出了一种新方法，通过使用稀疏的 3D CNN 估计场景的绝对位置和密集的场景接触，并通过与其相关的 3D 场景线索的交互关注来加强预训练的人类 mesh 回收网络的关节学习，进而提高每个正向遍历的准确性和速度。

    Jun, 2023

  • 从单目图像中恢复 3D 人体网格：一项调查

    本篇文章调查了单目三维人体网格恢复的相关任务，包括身体模型，恢复框架 / 训练目标，数据集评估指标和评测结果，并从优势和劣势方面深入分析了两种范式：优化和回归。作者希望激励研究人员的兴趣，促进该领域的研究。

    Mar, 2022

  • 从多视角图像学习单目三维人体姿态估计

    本文提出了一种通过多视角的训练，使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法，并提出了一种联合估计相机姿态及人体姿态的方法，在 3D 人体姿态估计方面取得了良好的表现。

    Mar, 2018

  • 从单张图像中估计卷积式三维姿态

    本文提出了一种用于从单个 RGB 图像中估计人类姿势的统一方法，通过联合推理 2D 关节估计和 3D 姿势重建来改善两个任务，并使用可信的 3D 地标位置知识来对更好的 2D 位置进行搜索，并通过多级卷积神经网络架构综合了 3D 人体姿势的概率知识，并在 Human3.6M 数据集上进行了端到端的训练，最终获得了在 2D 和 3D 误差上优于之前方法的最新结果。

    Jan, 2017

  • 使用隐式表示从单张图像中全面理解三维场景

    本文提出了一种基于单幅图像的全面三维场景理解的新管道，该管道可以预测物体形状、物体姿态和场景布局，利用最新的深度隐式表示方法解决了物体形状和布局的不精确估计的问题，通过物理违规损失函数避免了物体之间的错误场景。实验结果表明，该方法在物体形状、场景布局估计和三维物体检测方面优于现有最先进技术。

    Mar, 2021