CVPRJul, 2019

使用移动 GPU 从单目视频实时获取面部表面几何信息

PDF
TL;DR本文提出了一种基于神经网络的端到端模型，从单个摄像头输入中推断出人脸的近似 3D 网格表示，适用于 AR 应用程序。该模型具有相对密集的 468 个顶点网格模型，非常适合基于人脸的 AR 效果。该模型在移动 GPU 上具有超级实时推断速度（100-1000+FPS，取决于设备和模型变体），并且预测质量与同一图像的手动注释的变化相当。
neural network3d meshhuman facear applicationsreal-time inference
发现论文，激发创造
  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • 基于视频的三维人体模型重建

    该论文介绍了如何从单目视频中获取任意人物的准确三维身体模型和纹理，该方法仅需使用智能手机或网络摄像头，使每个人都能创建自己的全可动数字双胞胎，如社交 VR 应用或在线时尚购物的虚拟试穿。

    Mar, 2018

  • Attention Mesh: 实时高保真面部网格预测

    提出了使用注意力机制的轻量级 3D 人脸网格预测体系结构 ——Attention Mesh。 在手机上实现实时推断，能够高度准确地标记出眼睛和唇部等面部区域，可用于 AR 化妆，眼动追踪和 AR 操纵等应用。其主要贡献是，提出了一种统一的网络体系结构，在保证面部特征点准确性不降低的情况下，比多阶段级联方法快 30％。

    Jun, 2020

  • MobileFace：高效 CNN 回归的 3D 人脸重建

    本文提出了一种利用紧凑、快速的 CNN 模型在移动设备上实现实时重构的方法，通过使用传统的形态模型自动注释大量图像以供 CNN 训练，并优化 MobileNet CNNs 模型以改进速度、模型大小和保持最先进的重构精度。

    Sep, 2018

  • 移动 GPU 实时头发分割与重新上色

    提出了一种针对实时移动应用的基于神经网络的头发分割新方法，其相对较小的神经网络可在移动 GPU 上实现实时推理速度（视设备而定的 30-100+ FPS），同时保证高精度，并提出了一种高度逼真的头发重染方案，已在主要 AR 应用程序中部署并被数百万用户使用。

    Jul, 2019

  • 移动 GPU 上亚毫秒级神经脸部检测

    BlazeFace 是一个轻量且表现良好的人脸检测器，适用于移动 GPU 推理，能够以 200-1000+FPS 的速度运行。它可应用于需要准确面部区域的增强现实流水线，作为 2D / 3D 面部关键点或几何估计，面部特征或表情分类以及面部区域分割的输入。我们的贡献包括一个轻量级的特征提取网络、一个从 SSD 修改的 GPU 友好型锚点方案以及一种改进的连接决策策略。

    Jul, 2019

  • HR 人形：利用三角网格和视频高分辨率纹理建模人形化身

    通过单目视频实现高分辨率物理材质纹理和三角网格的人体模型的获取并结合多视角图像合成的信息融合策略，通过神经隐式表达生成可编辑的变形人体模型。

    May, 2024

  • LiveCap: 实时从单目视频中捕捉人类表现

    论文提出了一种实时捕获全身人类表现的全新方法，能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态，通过二阶段的分析合成优化策略实现精细的人类表现捕获，并且结合了 4D 运动捕捉，利用材料区域的自动识别进行模型优化，从而实现最终的实时全身表现捕捉。

    Oct, 2018

  • 稀疏 RGB 相机实时自由视点渲染的全息传输人物

    我们提出了第一种方法，可以实时以前所未有的 4K 分辨率渲染穿着常规服装的人体演员的极其逼真的自由视点视频。

    Dec, 2023

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022