ICCVMar, 2024

个性化 3D 人体姿势和形状优化

PDF
TL;DR我们提出使用密集对应将人体模型的初步估计与相应的图像生成关联，以便优化初步估计的过程。我们将 3D 模型的渲染结果用于预测合成图像与 RGB 图像之间的像素级 2D 位移，从而有效地整合和利用人体外观信息。通过最小化投影损失，我们可以将像素级位移转化为可见顶点级位移，并用于三维模型的优化。在 3DPW 和 RICH 上，我们通过不同的优化过程对多个模型的初步估计进行了优化，结果表明我们的方法不仅能够使图像与模型更好地对齐，还能提高三维的准确性。
3d human poseshape estimationdense correspondencesper-pixel displacements3d model refinement
发现论文，激发创造
  • 逆向运动学与细化方法实现多人 3D 姿态和形状估计

    本研究提出了一种粗到细的流程来解决从单眼 RGB 图像中估计多人物 3D 姿态和形状网格的问题，并且通过 Transformer-based refinement 和克服因人与人之间的遮挡而引入的不确定性，优于现有技术，在 3DPW，MuPoTS 和 AGORA 数据集上进行广泛实验得出了实验证明。

    Oct, 2022

  • 基于块的 3D 人体姿势细化

    本文提出了一种基于人体部位补丁的后处理步骤来优化 3D 人体姿态估计的方法，通过利用预测的分割图和 RGB 图像进行融合，可以提高对于带有细节信息的部分的精度预测，同时帮助稀有姿势的学习，实验结果表明，该方法可以始终提升最先进的 3D 人体姿态方法的准确性。

    May, 2019

  • 基于层级运动学概率分布的野外图像 3D 人体形状和姿态估计

    通过训练深度神经网络，使用人体运动树结构来估计相对 3D 关节旋转矩阵的分层矩阵费舍尔分布（即身体姿态）和 SMPL 身体形状参数的高斯分布，实现了对 3D 人体形状和姿态的分布性预测，能够有效地量化预测不确定性并从中采样出多种可能的 3D 重建形式，从而解释给定的输入图像。

    Oct, 2021

  • 利用多视角图像进行形状感知人体姿态和形状重建

    使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

    Aug, 2019

  • 基于对应学习和网格细化的三维姿态转移

    该论文提出了一种对人类和动物网格控制姿势的方法，该方法通过优化传输问题建立源网格和目标网格之间的对应关系，并使用弹性实例归一化的条件归一化层来提高生成网格的质量。

    Sep, 2021

  • 学习优化人体姿态估计

    本文介绍了一种姿势细化网络，它可以在现有神经网络的基础上直接预测细化的姿态。通过使用新颖的数据增强方案进行训练，我们的方法在四个大型姿势估计基准测试中得到了系统的改进。

    Apr, 2018

  • 从野外多个不受限制图像中的概率三维人体形状和姿势估计

    本研究提出了一种新的任务，在人体形态和姿势估计中使用多幅图像组成的分布预测模型，使我们能够量化姿势预测的不确定性，并提高了 3D 人体形态估计度量标准。

    Mar, 2021

  • 基于深度模型的 RGB 图像中的 6D 姿态细化

    本研究提出了一种基于深度神经网络的视觉损失函数，通过对凸形物体外轮廓的对齐来驱动位姿更新进行模型为 6D 姿态精修的处理，方法无需确定外观模型、免除了手动图像分割、同时能够处理遮挡问题和几何不对称性与视觉模糊问题，并且能够在没有深度数据的情况下准确地估算物体位姿。

    Oct, 2018

  • 通过神经渲染在静态视频中进行自监督的三维人体姿势估计

    本文介绍了一种利用自监督学习估算不需要人工标注的静态背景下单个人物的 2D 视频帧生成 3D 人体姿势的方法。作者采用射线投射技术进行人体模板的渲染，使神经网络可以对渲染结果进行优化，从而获得了令人满意的结果。

    Oct, 2022

  • 走向人类级别的三维相对姿态估计：通用化、免训练、单个参考

    用 RGB-D 参考图像的 2.5D 形状、现成可微分渲染器以及 DINOv2 预训练模型提取的语义线索为基础，无需标记和训练，提出了一种新颖的可推广的三维相对姿态估计方法，通过渲染与对比新的 RGB 和语义地图，实现了只需单个 RGB-D 参考图像可用于未见过的对象的姿态估计。

    Jun, 2024