Jun, 2023

多视角图像下基于顶点热图的 3D 人体网格重建的表示学习

PDF
TL;DR这项研究解决了通过多视角图像重建三维人体网格的问题，通过使用自动编码器对顶点热图进行表示学习，并利用 AMMASS 数据集学习顶点之间的连结模式，开发了一种基于先前训练好的权重的潜在代码监督的身体编码预测器来重建人体网格，并在 Human3.6M 和 LightStage 数据集上实验后发现该方法的表现超过了以前的方法，达到了最先进的人体网格重建性能。
3d human mesh reconstructionmulti-view imagesvertex heatmapsautoencoderpretrained weights
发现论文，激发创造
  • 多人三维姿态估计的压缩体积热力图

    本文提出了一种基于多层热力图压缩的深度学习模型，可在 8 fps 的运行时处理全高清 RGB 图像，用于多人和单人 3D 人体姿态估计。

    Apr, 2020

  • 三维人体姿态估计几何感知表示的弱监督发现

    本研究提出了一种几何感知的人体姿态三维表示方法，通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督，在训练阶段建立共享的 3D 表示，进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明，该方法能够显著提高现有姿态估计方法的性能。

    Mar, 2019

  • 使用几何感知自编码器从数十个数据集中学习 3D 人体姿势估计，以桥接骨架格式之间的差异

    本研究展示了一个基于深度学习的 3D 人体姿态估计方法，为了克服不同数据集提供的不同骨骼格式这一障碍，我们提出了一种新颖的仿射组合自编码器方法 (ACAE)，以实现由多个数据集超级所见，其中我们使用 28 个 3D 人体姿态数据集来监督一个模型，并在各种基准测试中取得了比以前的工作更好的表现。

    Dec, 2022

  • 利用多视角图像进行形状感知人体姿态和形状重建

    使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

    Aug, 2019

  • 深度自编码器用于联合人体姿态估计和身体模型升级

    采用对称卷积自动编码器训练并学习人体三维姿态和身体形状，结合高级的远距离相机视角，能够实时进行人体行为监测并准确估计人体姿态和形状。

    Jul, 2018

  • 深度外观模型用于人脸渲染

    本文介绍了一种基于多视角捕捉技术，利用深度变分自编码器来学习人脸的几何结构和外观特征联合表示，可实现对大规模、高度复杂的人脸几何结构的完美表现，从而能够适用于实时互动场景，例如虚拟现实 (VR) 应用。

    Aug, 2018

  • 变分自编码器用于形变三维网格模型

    本文介绍了一种基于神经网络和自动编码器的新型框架 —— 网格变分自编码器来研究分析具有形变的 3D 网格，通过在概率潜空间中探索 3D 表面，既可以代表 3D 动画序列，也可以代表同一类别的对象集合，具有大规模非线性形变的多样形状，广泛的实验表明我们的方法可以实现不同的形状性能，如形状生成、形状内插，形状空间嵌入和形状探索，取得了超越最先进方法的结果。

    Sep, 2017

  • 无监督几何感知表示用于三维人体姿态估计

    本文提出使用多视角图像而无需注释，来学习一个具有几何感知能力的身体表示，通过使用该身体表示，我们的方法在仅使用少量标记数据的情况下，显著优于完全监督的方法，并且在使用仅 1% 标记数据时，也优于其他半监督方法。

    Apr, 2018

  • 多人全身人体网格恢复单次拍摄

    提出了 Multi-HMR，这是一个强大的单次拍摄模型，可以从单个 RGB 图像中恢复多人的 3D 人体网格。

    Feb, 2024

  • 使用卷积网格自编码器生成 3D 面孔

    本论文提出了一种基于网格表面的谱卷积模型，该模型能够更好地捕捉面部的非线性变形和表情，使用少量数据训练即能有效地重建三维面部模型。

    Jul, 2018