ICCVSep, 2019

DenseRaC：通过密集的渲染比对实现联合三维姿态和形状估计

PDF
TL;DR该研究提出了一个新颖的端到端框架 DenseRaC，用于从单 ocular RGB 图像中联合估计三维人体姿态和身体形状。通过使用 IUV 映射作为代理表示，然后执行参数化人体姿态和形状的估计，以及最小化输入和渲染输出之间的差异，通过使用 render-and-compare 方案，我们进一步集成了监督学习和对抗生成网络。此外，为了提高学习，研究人员还构建了一个大规模的合成数据集（MOCA），利用网络爬取 Mocap 序列，3D 扫描和动画。该模型通过联合学习来自混合数据集的 3D 人体表示，从而缓解了无配对训练数据的问题。实验结果表明，DenseRaC 在各种涉及人体的公开基准测试中的表现优异。
denserac3d human posebody shapeneural networksynthetic dataset
发现论文，激发创造
  • 从密集身体部位学习 3D 人体形状和姿势

    本文提出了一种从稠密对应的人体部位进行学习的方法，通过构建 2D 像素与 3D 顶点之间的桥梁，提出了解决非线性、位移等问题的 Decompose-and-Aggregate 网络（DaNet），并给出了一种利用空间关系的位置辅助旋转特征细化策略来提高鲁棒性的姿态预测策略，发现该方法显著提高了重建性能。

    Dec, 2019

  • SparseFusion: 从稀疏 RGBD 图像动态建模人类形象

    本文提出了一种新方法，基于一个稀疏的 RGBD 相机捕获集合来重建 3D 人体模型，重点解决拍摄过程中的姿态变化和遮挡问题，并使用全局非刚性注册和纹理映射优化等步骤来实现。通过实验证明，该方法的性能优异，且具有灵活性和多种潜在应用。

    Jun, 2020

  • 手势姿势估计的密集三维回归

    该研究提出了一种基于单个深度帧的三维手部姿态估计方法，通过像素级别的估计实现高效准确地实现骨架姿态估计，并在 MSRA 和 NYU 手部数据集上，其方法实现了最好的性能。

    Nov, 2017

  • 从单目图像估计多人三维人体姿态

    通过提出的 HG-RCNN 网络，借助 Mask-RCNN 和 Hourglass 结构进行多人 3D 人体姿态估计，实现对每个感兴趣区域（RoI）中 2D 关键点的先预测后提升，最终采用弱透视投影模型和焦距和根偏移的联合优化将估计的 3D 姿态置于相机坐标系下，该网络简单模块化且无需多人 3D 姿态数据集，取得了 MuPoTS-3D 数据集的最优性能，并能近似在相机坐标系下估计 3D 姿态。

    Sep, 2019

  • UltraPose: 使用人体解耦 3D 模型合成 10 亿点密集姿态

    通过构建一个新的人体三维模型和数据生成系统，我们构建了一个超高密度的合成数据集 UltraPose，包含大约 13 亿个对应点。与手动注释的现有 DensePose-COCO 数据集相比，我们的 UltraPose 具有超高密度的图像到表面对应关系，具有良好的高复现性和低成本。

    Oct, 2021

  • 通过区分性渲染和比较实现强大的三维感知物体分类

    该论文提出了一种新的基于神经纹理的 3D-aware 分类方法，通过使用不同可微渲染技术来估计 3D 目标姿态和分类信息，并得到了比现有单一任务模型更加鲁棒的结果。

    May, 2023

  • DensePose 3D：将关节物体的规范表面贴图提升到第三个维度

    本文提出了一种名为 DensePose 3D 的方法，通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体（例如人和动物）的三维重建，同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分，再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影，与基于非刚性结构运动的最新基线方法相比，在合成和真实数据上对人和动物进行了显著改进。

    Aug, 2021

  • 稀疏性与深度结合：单目视频中的 3D 人体姿态估计

    本文通过提出一种新的方法，在人体姿势估计中实现了更好的 3D 姿势估计精度，通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图，并使用期望最大化算法进行 3D 姿势估计。

    Nov, 2015

  • 密集融合：通过迭代密集融合实现 6D 物体姿态估计

    本文提出了 DenseFusion 框架，使用异构网络结构从 RGB-D 图像中估计已知物体的 6D 位姿，并通过端对端迭代位姿细化进一步提高了姿态估计的精度和实时性。实验结果表明，我们的方法在 YCB-Video 和 LineMOD 数据集上优于现有方法，并在实际机器人应用中实现了对物体的抓取和操作。

    Jan, 2019

  • DenseBody：从单幅彩色图像直接回归密集式三维人体姿势和形状

    本文提出使用卷积神经网络和编码器 - 解码器神经网络从单张彩色图像中直接回归 3D 人体网格，利用高效的 3D 人体形状和姿势表示方法，在 Human3.6M、SURREAL 和 UP-3D 等多个 3D 人体数据集上实现了最新性能。

    Mar, 2019