ICCVAug, 2023

三维感知神经体位拟合用于面部遮挡鲁棒的三维人体姿势估计

PDF
TL;DR基于生成模型的 3D 人体姿势拟合（3DNBF）方法，在处理遮挡情况下具备最佳表现，通过训练使神经特征具备三维感知，克服了二维与三维之间的模糊性。
3d human pose estimationregression-based methodsoptimization-based methodsocclusion robustnessgenerative models
发现论文，激发创造
  • 神经身体拟合：统一深度学习和基于模型的人体姿态和形状估计

    该论文提出了一种新方法，将一个统计体模型嵌入到 CNN 中，并利用底部向上的语义体部分分割和稳健的自上而下的体模型约束，实现从 2D 图像中进行 3D 人体姿态估计的目的。

    Aug, 2018

  • 从 RGB-D 数据中重构带有遮挡的 3D 人体姿势

    通过对场景信息和先前知识进行建模，我们提出了一种新的方法来从 RGB-D 图像中重建带有遮挡的 3D 人体，通过建模可能的姿势空间并使用深度数据约束可见身体部分，我们的方法在 PROX 数据集上的实验结果表明，与其他方法相比，能够产生更准确和合理的结果。

    Oct, 2023

  • 抗遮挡的三维人体姿势估计

    通过使用空时图形来表示变形的人体，并引入一个细化网络，该网络在此图形上执行图形卷积以输出 3D 姿势，以确保对遮挡鲁棒性，通过使用一组二进制掩码训练此网络，并模拟某些关节在一段时间内可隐藏，并训练网络对此免疫，证明了该方法相对于从单摄像机序列推断姿势的最先进技术的有效性。

    Feb, 2024

  • NeMo: 鲁棒的三维姿态估计的对比特征的神经网格模型

    本文研究 3D 姿态估计问题中常见的物体部分遮挡或者从未见过的视角所导致的深度学习问题，通过将深度神经网络与物体的三维生成表示相结合，提出了一种名为 NeMo 的神经架构，该方法在不需要真实的 3D 几何体来进行准确的 3D 姿态估计方面具有更强的鲁棒性，并使用对比学习的方法来训练特征提取器以增强其鲁棒性。 在 PASCAL3D +，occluded-PASCAL3D + 和 ObjectNet3D 数据集上的广泛实验证明，NeMo 相对于标准深度网络具有更好的性能和更强的鲁棒性。

    Jan, 2021

  • 遮挡人体姿态估计的全面框架

    本文提出了一个综合框架 DAG (Data, Attention, Graph)，用于解决因遮挡引起的性能降级问题。通过模拟遮挡场景，引入了掩蔽关节与实例粘贴数据增强技术；通过自适应判别注意力模块 (ADAM) 有效增强目标个体的特征；通过特征引导的多跳图卷积网络 (FGMP-GCN) 充分探索身体结构的先验知识，并提高姿势估计结果。通过在三个用于遮挡人体姿势估计的基准数据集上进行了广泛的实验，我们证明了所提出的方法优于现有的方法。代码和数据将公开提供。

    Dec, 2023

  • 学习融合 2D 和 3D 图像线索用于单眼人体姿态估计

    该研究利用深度学习在单目 3D 人体姿势估计领域提出了一种新型结构，可以同时从图像中推算出 3D 关节坐标和 2D 关节位置，使用可训练的融合方案使信息得以最佳融合，从而在标准的 3D 人体姿势估计基准测试中大幅提高了现有技术水平。

    Nov, 2016

  • BodyNet: 3D 人体形状的体积推断

    本篇研究提出了一种名为 BodyNet 的神经网络，通过直接推断体积棱柿，从而预测自然图像中的三维人体形状，同时结合三维损失和多视角重投影损失以及适当的监督，实现了性能的提升；通过将 SMPL 模型应用于网络输出，并在 SURREAL 和 Unite the People 数据集上展示了最先进的结果，证明了本方法的有效性。

    Apr, 2018

  • 从密集身体部位学习 3D 人体形状和姿势

    本文提出了一种从稠密对应的人体部位进行学习的方法，通过构建 2D 像素与 3D 顶点之间的桥梁，提出了解决非线性、位移等问题的 Decompose-and-Aggregate 网络（DaNet），并给出了一种利用空间关系的位置辅助旋转特征细化策略来提高鲁棒性的姿态预测策略，发现该方法显著提高了重建性能。

    Dec, 2019

  • 3D 多体：将一组可信的三维人体模型拟合到模糊的图像数据上

    研究单视图和部分遮挡视图下获取人体的密集三维重建问题，建议通过合适的三维模型参数化人体形状和姿势，学习一种多假设神经网络回归器，约束每个假设位于合理人体姿势的流形上，并且在标准 3D 人体基准和重度遮挡版本中，该方法表现出优异的处理模糊姿态恢复的性能。

    Nov, 2020

  • LASOR: 通过合成有遮挡感知数据和神经网格渲染学习精确的三维人体姿态和形状

    针对人体姿态和形状估计中的遮挡问题，特别是人物之间的遮挡问题，本文提出了一种新的框架，通过合成 occlusion-aware 阴影和 2D 关键点方便估计 SMPL 姿态和形状参数，使用三维神经网格渲染器实现了实时新学习，已在现有数据集中表现出优越性能。

    Aug, 2021