Mar, 2024

使用生成模型的合成数据在野外进行的 3D 人体重建

PDF
TL;DR通过基于扩散模型的 HumanWild 方法，我们展示了由生成模型创建的合成数据与计算机图形渲染数据互补，从而在 3D 人体姿态和形状估计方面在多样化的真实场景中实现了卓越的泛化性能。
synthetic datagenerative models3d human poseshape estimationdata generation pipeline
发现论文，激发创造
  • 野外单目三维人体姿态估计的普适性推广

    研究人员提出了一种基于立体视觉启发的神经网络技术和几何搜索方案来生成高质量的 3D 姿势地面真实数据，使不需要专业训练模式和辅助损失函数的神经网络模型在野外图像数据中实现良好的 3D 姿态估计结果。

    Apr, 2019

  • 基于图像合成的深度 3D 人体姿态估计

    本文提出了一种在 “野外” 环境中进行三维人体姿态估计的解决方案，通过生成大量的具有三维姿势标注的逼真合成图像，并使用这些图像对全身三维姿势进行端对端的卷积神经网络训练，成功地在受控环境（Human3.6M）中优于大多数已发表的作品，并在真实图像（LSP）中展现了有前途的结果。

    Feb, 2018

  • 利用合成人类进行训练学习

    本研究探索了使用全合成或合成增强真实数据的两种方法来解决多人二维姿势估计的问题，并研究了哪种方法更好地推广到真实数据，以及虚拟人物在训练损失中的影响。通过使用增强数据集，且不考虑训练损失中的合成数据，可以得到最佳结果。该研究还使用对抗性师生框架，发现不是所有的合成样本对训练都有同样的信息量，且信息量会随着训练阶段的不同而发生变化。

    Aug, 2019

  • 野外 3D 人体衣着重构

    本论文提出了一种基于 ClothWild 的 3D 服装人体重建框架，通过一种弱监督管道和 DensePose-based 损失函数解决了 training 和 in-the-wild 数据之间的大型领域差距，在公开数据集上得到了比现有技术更准确和更健壮的结果。

    Jul, 2022

  • 基于合成数据的鲁棒性类别层次 3D 姿态估计

    本篇论文提出 SyntheticP3D 数据集和 CC3D 方法，结合这两种方法可以实现在只用 10% 的真实数据的情况下，与当前最先进的模型在物体位姿估计方面取得了可与之媲美结果，在采用 50% 的真实数据时还超越了 SOTA 模型 10.4%。

    May, 2023

  • 从合成人中学习

    本文提出了使用由 3D 运动捕捉数据生成的合成真实人形图像的大规模数据集 (SURREAL) 来训练卷积神经网络 (CNNs)，并且通过该数据集训练的 CNNs 在 RGB 图像中可以准确地进行人物深度估计和人物部分分割。

    Jan, 2017

  • SMPLpix：基于 3D 人体模型的神经化身

    本研究提出了一种新的深度学习网络，用于将 3D 模型转换为逼真的照片，旨在弥合现有深度生成模型不能灵活控制的瓶颈问题，同时也改善了传统三维图形处理渲染机制的不足之处。

    Aug, 2020

  • 在没有人的情境中生成三维人物

    本研究提出了一种全自动系统，用于将 3D 场景转换成自然姿势的 3D 人体，该系统采用基于表面的 3D 人体模型 SMPL-X，利用条件变分自编码器和场景约束，可以合成与 3D 环境自然交互的真实、表现力强的 3D 人体，适用于许多应用领域，例如人体姿势估计、视频游戏和 VR / AR。

    Dec, 2019

  • En3D：从 2D 合成数据雕刻 3D 人体的增强生成模型

    通过以人为基础的准确物理建模，我们提出了一种增强的生成方案 En3D，能够从合成的平衡、多样化和结构化的人类图像中，准确地模拟具有逼真外观的通用化 3D 人物。

    Jan, 2024

  • MoCap 引导的数据增强在野外三维姿态估计中的应用

    该论文提出了一种采用基于图像合成方法生成真实图片数据集以训练 CNN 模型，用于解决 3D 人体姿态估计缺少真实数据的问题，并通过在受控环境和实境的表现表明其可行性。

    Jul, 2016