Sep, 2016

深度卷积神经网络实现生产级人脸表情捕捉

PDF
TL;DR本文章旨在提出一种基于实时深度学习框架的视频面部表情捕获技术，能够从单目视频中密集地追踪演员的脸部运动，从而大大缩短现代叙事驱动的电子游戏或电影开发所需要的时间和劳动力。
facial performance capturedeep learningconvolutional neural networkmonocular videoreal-time
发现论文，激发创造
  • DeepCap: 单目弱监督下的人体表现捕捉

    本文介绍了一种基于深度学习的单目稠密人体动作捕捉方法，利用多视角监督训练来消除了需要 3D 地面实况注释训练数据的需求，且通过将任务分离为姿势估计和非刚性面变形两个步骤使得其在质量和鲁棒性方面优于现有技术。

    Mar, 2020

  • 基于 RGB 输入的实时面部分割和表现捕捉

    通过显式的语义分割技术，利用深度学习网络在实时的不受限制的图像中进行面部追踪，进而应用于虚拟化妆和面部替换任务。

    Apr, 2016

  • LiveCap: 实时从单目视频中捕捉人类表现

    论文提出了一种实时捕获全身人类表现的全新方法，能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态，通过二阶段的分析合成优化策略实现精细的人类表现捕获，并且结合了 4D 运动捕捉，利用材料区域的自动识别进行模型优化，从而实现最终的实时全身表现捕捉。

    Oct, 2018

  • LookinGood: 实时神经再渲染技术提升表现捕捉

    该论文介绍了一种基于神经渲染的深层结构，可以在实时中进行补全、超分辨率、去噪，取得高质量图像，适用于虚拟和增强现实头盔，大大改善了用户的使用体验。

    Nov, 2018

  • 基于深度 3D 模拟超分辨率的近实时面部动画

    本文通过神经网络模拟超分辨率框架，可以实现将低成本、实时物理模拟产生的面部表现有效、逼真地提升到接近高分辨率（我们例子中元素数量高出 26 倍）的参考质量，同时补偿了实时模拟的限制和成本削减近似的建模差异，不需要提供任何语义描述符或参数，除了实时模拟的结果。

    May, 2023

  • 基于增强式深度 3D 卷积神经网络的人脸表情识别

    本篇研究提出了在视频中进行情感识别的 3D 卷积神经网络方法，使用 3D Inception-ResNet 层及 LSTM 单元，从面部图像中提取空间关系和不同帧之间的时间关系，并利用面部关键点作为输入，该方法在四个公开数据库上的表现超过了现有最先进技术。

    May, 2017

  • 从视频中学习人脸模型

    利用多帧视频自我监督训练深度网络，学习面部身份模型并同时重建 3D 面部，采用新的多帧一致性损失函数使得 consistent shape 和 appearance 尽量减小深度不确定性，从而实现单目和多帧重建。

    Dec, 2018

  • 从单目视觉中捕捉人类表演

    本研究提供了首个非标记的方法来在单目视频中实现人类的三维运动捕捉，可以重建关节骨架的运动以及一般场景中中等尺度的非刚性表面形变。通过使用卷积神经网络中的疏 2D 和 3D 人体姿势检测，以及基于低维轨迹子空间解决单目重构问题的模式，我们解决了由大范围关节运动，具有潜在快速运动和相当大的非刚性变形构成的人工能捕捉挑战。此外，我们根据完全自动提取的轮廓线提出了基于表面几何的细化方法，以实现中等规模的非刚性匹配，我们的方法实现了最先进的性能捕捉结果，在准确性，鲁棒性和可处理的场景复杂性方面明显优于先前的单目方法。

    Aug, 2017

  • 深度神经网络实现照片级真实面部纹理推理

    利用深度卷积神经网络提取中层特征，从高分辨率人脸数据库中拟合特征的凸组合，从而生成 photorealistic texture map，以实现从低分辨率输入图像中合成高逼真度的 3D 人脸渲染模型，并进行了广泛的验证。

    Dec, 2016

  • 在非受限图像中学习密集的面部对应关系

    本文提出了一种使用神经网络在高度自由的 RGB 图像中计算面部对应关系的最简单有效的方法，使用渲染可变姿势、表情、照明和遮挡的多样化三维面部模型生成大量人工数据集，结合真实照片培训表现在精度和速度上优于现有方法，并可以成功地处理极端姿势变化、遮挡和光照条件。

    Sep, 2017