Mar, 2020

DeepCap: 单目弱监督下的人体表现捕捉

PDF
TL;DR本文介绍了一种基于深度学习的单目稠密人体动作捕捉方法，利用多视角监督训练来消除了需要 3D 地面实况注释训练数据的需求，且通过将任务分离为姿势估计和非刚性面变形两个步骤使得其在质量和鲁棒性方面优于现有技术。
发现论文，激发创造
  • 从单目视觉中捕捉人类表演

    本研究提供了首个非标记的方法来在单目视频中实现人类的三维运动捕捉，可以重建关节骨架的运动以及一般场景中中等尺度的非刚性表面形变。通过使用卷积神经网络中的疏 2D 和 3D 人体姿势检测，以及基于低维轨迹子空间解决单目重构问题的模式，我们解决了由大范围关节运动，具有潜在快速运动和相当大的非刚性变形构成的人工能捕捉挑战。此外，我们根据完全自动提取的轮廓线提出了基于表面几何的细化方法，以实现中等规模的非刚性匹配，我们的方法实现了最先进的性能捕捉结果，在准确性，鲁棒性和可处理的场景复杂性方面明显优于先前的单目方法。

    Aug, 2017

  • LiveCap: 实时从单目视频中捕捉人类表现

    论文提出了一种实时捕获全身人类表现的全新方法，能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态，通过二阶段的分析合成优化策略实现精细的人类表现捕获，并且结合了 4D 运动捕捉，利用材料区域的自动识别进行模型优化，从而实现最终的实时全身表现捕捉。

    Oct, 2018

  • 使用稀疏的多视角相机进行多个角色的性能捕捉

    DeepMultiCap 是一种新颖的方法，用于使用稀疏多视角相机进行多人表演捕捉，其中结合了像素对齐的隐式函数和参数模型以实现对无形表面区域的鲁棒重建，以及有效的注意力感知模块以获取多视角图像中的细节。

    May, 2021

  • 深度卷积神经网络实现生产级人脸表情捕捉

    本文章旨在提出一种基于实时深度学习框架的视频面部表情捕获技术，能够从单目视频中密集地追踪演员的脸部运动，从而大大缩短现代叙事驱动的电子游戏或电影开发所需要的时间和劳动力。

    Sep, 2016

  • 野外单目 3D 人体姿势估计基于优化 CNN 监督

    提出了一种基于 CNN 的方法，利用现有的 3D 姿势数据和 2D 姿势数据进行迁移学习，在真实场景中实现了最先进的性能，同时引入了一个人类身体姿势估计的新训练集，并提出了一个覆盖室内和室外场景的新基准。

    Nov, 2016

  • 从多视角图像学习单目三维人体姿态估计

    本文提出了一种通过多视角的训练，使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法，并提出了一种联合估计相机姿态及人体姿态的方法，在 3D 人体姿态估计方面取得了良好的表现。

    Mar, 2018

  • 自监督学习的动作捕捉

    本文提出了一种基于学习的单摄像头动作捕捉模型，通过神经网络权重优化预测 3D 形状和骨架配置，结合合成数据的强监督和可微渲染的自监督，实现了在测试时间自适应，并展示了比传统优化方法更好的效果。

    Dec, 2017

  • 自由视点 RGB-D 人体表演捕捉和渲染

    提出了一种利用低成本深度相机从单视角和稀疏 RGB-D 传感器中捕获任意人物，并从未见过的视角生成逼真渲染的视图合成框架。该方法可重建面部表情，具有良好的鲁棒性和高质量的渲染效果，优于之前的视图合成方法。

    Dec, 2021

  • HiFECap：单目高保真和表现力人体动作捕捉

    HiFECap 是新的神经人员表现捕捉方法，从单个 RGB 视频中同时捕捉人体姿态、服装、面部表情和手部姿势。该方法表现优于现有表现捕捉方法，首次捕捉到人体的全部细节。

    Oct, 2022

  • 相对论：弱监督数据下的单目三维人体姿态估计

    通过弱监督学习和人群注释者提供的深度相对估计信号，我们提出一种 3D 人体姿势估计算法，用于只在 2D 输入图像中学习。结果竞争力优于目前现有算法，可为在未经过精心控制的现实世界中进行 3D 姿势估计开辟道路。

    May, 2018