May, 2022

学习顶点下降：三维人体模型拟合的新方向

PDF
TL;DR我们提出了一种新的基于优化的 3D 人体模型拟合范式，采用每个点的神经场网络进行训练，结合梯度下降优化管道实现对穿着衣服的人体的拟合。与现有的方法相比，这种方法能够捕获到具有非常不同身体形状的人的潜在身体，并在 3D 模型拟合中实现了显着改进。
3d human model fittingneural fields networkoptimization3d model fittingbody shapes
发现论文，激发创造
  • 学习梯度下降拟合人体模型

    本文提出了一种新算法，将迭代梯度下降和深度神经网络结合起来，实现 3D 人体形状与图像的拟合。该算法只需人体动作捕捉数据，不需要图像到 3D 对应关系，并且在公共数据集上达到了最先进的结果。

    Aug, 2020

  • 视觉三维人体姿态与形状的神经下降

    本文提出一种基于深度神经网络的人体三维姿态和形状重建方法，使用全身统计 3D 人体模型和学习技巧来优化模型并将其应用于自监督模式下的姿态和形状状态重建，并基于新颖的循环方式更新姿态和形状参数，从而实现了优化损失和度量反差的统一，测试结果表明其在 H3.6M 和 3DPW 等数据集上均获得了极具竞争力的结果。

    Aug, 2020

  • 基于神经网络场的几何意识在 3D 人体配准中的应用

    论文提出了两种解决方案：一种是通过预测目标表面上局部 SMPL 顶点的方向来预测模板与 3D 人体点云的对齐问题的新型神经场模型 LoVD；另一种是在测试时利用目标几何信息对骨干进行改进的首个自监督任务 INT。将它们结合成 INLoVD，这是一个在大规模 MoCap 数据集上训练的稳健的 3D 人体注册流水线，高效（不到一分钟）、在公共基准测试中稳定达到最先进水平，并在分布外数据上提供了前所未有的泛化能力。

    Dec, 2023

  • 并行顶点扩散用于统一的视觉定位

    本文提出了一种并行顶点生成模型，采用扩散模型训练，并引入归一化坐标值和角度损失以解决训练的两个缺陷，实验结果显示该模型在物体检测和分割方面取得了最先进的性能。

    Mar, 2023

  • 个性化 3D 人体姿势和形状优化

    我们提出使用密集对应将人体模型的初步估计与相应的图像生成关联，以便优化初步估计的过程。我们将 3D 模型的渲染结果用于预测合成图像与 RGB 图像之间的像素级 2D 位移，从而有效地整合和利用人体外观信息。通过最小化投影损失，我们可以将像素级位移转化为可见顶点级位移，并用于三维模型的优化。在 3DPW 和 RICH 上，我们通过不同的优化过程对多个模型的初步估计进行了优化，结果表明我们的方法不仅能够使图像与模型更好地对齐，还能提高三维的准确性。

    Mar, 2024

  • 利用可学习的顶点关系推广在野外场景下的人体姿态和网格重建

    本文介绍了一种 3D 人体姿势和网格重建方法 MeshLeTemp，使用可学习的人体网格模板来编码人体先验知识，并展示了其在未见情况下的泛化能力。

    Feb, 2022

  • 通过模型拟合学习重构 3D 人体姿势和形状

    该研究提出了一种新的方法，将基于优化的方法和基于回归的方法结合起来，通过深度学习网络和迭代优化技巧来准确估计人体姿势。在实验中，该方法在数据稀缺和限制条件下改善了现有技术的精度和效率。

    Sep, 2019

  • 学习拟合形态模型

    通过学习优化方法，提出了一种类 Levenberg-Marquardt 算法的更新规则，以更高效地适应新的模型拟合问题，并且在准确性和速度上具有竞争力。

    Nov, 2021

  • HumanMeshNet：人类的多边形网格恢复

    提出一种新模型 HumanMeshNet，它在多分支、多任务设置下，通过回归模板网格的顶点以及使用三维骨架位置进行规则化，隐式地学习了网格表示，从而实现虚拟、增强现实平台、动画行业、电子商务领域等方面的实时重建，并在三个公开数据集上展示了可比较的表面精度和关节误差性能。

    Aug, 2019

  • 采样至关重要：基于点引导的 3D 人类网格重建

    本文提出了一种基于简单的特征采样方案的 3D 人体网格重建方法，该方案利用嵌入空间中的点作为引导，有助于模型更集中地关注 2D 空间中的与网格相关性的特征，进而重建出自然的人体姿态，并且应用渐进的注意屏蔽机制来精确估计网格之间的局部交互。

    Apr, 2023