基于 RGB 输入的实时面部分割和表现捕捉

Apr, 2016

基于 RGB 输入的实时面部分割和表现捕捉

Real-Time Facial Segmentation and Performance Capture from RGB Input

Shunsuke Saito, Tianye Li, Hao Li

TL;DR通过显式的语义分割技术，利用深度学习网络在实时的不受限制的图像中进行面部追踪，进而应用于虚拟化妆和面部替换任务。

Abstract

We introduce the concept of unconstrained real-time 3D facial performance capture through explicit semantic segmentation in the RGB input. To ensure robustness, cutting edge supervised learning approaches rely on large training datasets of face images captured in the wild. While impres

unconstrained real-time 3d facial performance capture semantic segmentation deep learning tracking accuracy modeling of occlusions

发现论文，激发创造

在非受限图像中学习密集的面部对应关系

本文提出了一种使用神经网络在高度自由的 RGB 图像中计算面部对应关系的最简单有效的方法，使用渲染可变姿势、表情、照明和遮挡的多样化三维面部模型生成大量人工数据集，结合真实照片培训表现在精度和速度上优于现有方法，并可以成功地处理极端姿势变化、遮挡和光照条件。

Sep, 2017

深度卷积神经网络实现生产级人脸表情捕捉

本文章旨在提出一种基于实时深度学习框架的视频面部表情捕获技术，能够从单目视频中密集地追踪演员的脸部运动，从而大大缩短现代叙事驱动的电子游戏或电影开发所需要的时间和劳动力。

Sep, 2016

LiveCap: 实时从单目视频中捕捉人类表现

论文提出了一种实时捕获全身人类表现的全新方法，能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态，通过二阶段的分析合成优化策略实现精细的人类表现捕获，并且结合了 4D 运动捕捉，利用材料区域的自动识别进行模型优化，从而实现最终的实时全身表现捕捉。

Oct, 2018

分割重构引导的面部图像去遮挡

本研究提出了一种基于人脸分割和三维人脸重建的面部去遮挡模型，通过预测面部先验和遮挡掩码实现了对所有种类的面部遮挡（包括毛发等较模糊的边界）的自动去除，并为了监督训练进一步构建了一个大型遮挡数据集。实验证明，该方法有效且鲁棒。

Dec, 2021

3DFusion，基于实例分割流数据的实时 3D 物体重建流水线

该论文介绍了一个实时分割和重构系统，利用 RGB-D 图像生成准确而详细的物体三维模型，可以应用于增强 / 虚拟现实、室内设计、城市规划、道路辅助和安全系统等领域。通过采样连续帧以减少网络负载并确保重构质量，采用多进程 SLAM 管道实现并行三维重构，并使用了业界领先的 YOLO 框架进行实例分割，以提高性能和准确性。该系统在室内环境中建立了一个强大的实时系统，对物体分割和重构具有重要的增强效果，也可以扩展到室外场景，为实际应用开辟了众多机会。

Nov, 2023

基于视频的无约束人脸识别自动化系统

提出了一个用于多个挑战性情景的视频人脸识别的鲁棒且高效的系统，包括人脸 / 标志检测、人脸关联和人脸识别等模块，特别是针对多镜头视频设计了精心的人脸关联方法，采用一种基于无监督子空间学习方法和子空间到子空间相似度度量的人脸匹配器来识别人脸，广泛实验表明该系统可以准确地检测和关联未约束的视频中的人脸，并有效地学习到具有鲁棒性和区分性的特征用于识别。

Dec, 2018

LookinGood: 实时神经再渲染技术提升表现捕捉

该论文介绍了一种基于神经渲染的深层结构，可以在实时中进行补全、超分辨率、去噪，取得高质量图像，适用于虚拟和增强现实头盔，大大改善了用户的使用体验。

Nov, 2018

通过自监督学习从无标签 RGB-D 视频中学习物体分割

该论文提出了一个自超视自学的物体分割系统，其训练过程利用了点云的超分割结果，利用图匹配算法和点云配准结合检测出 3D 假标签上的再现物体模式并生成 2D 掩码。实验证明，该方法在真实和合成的视频数据集上的表现优于现有的无监督方法。

Apr, 2023

基于深度信息的实时 RGB-D 语义分割融合网络，并结合道路图像中预警障碍物检测

本文提出了一种名为 RFNet 的实时融合语义分割网络，该网络可在自动驾驶汽车应用中快速运行，利用多个数据集进行训练，实现对意外小障碍的识别和面对现实世界中未预见到的危险，达到了显著的分割精度和 22Hz 推理速度。

Feb, 2020

自由视点 RGB-D 人体表演捕捉和渲染

提出了一种利用低成本深度相机从单视角和稀疏 RGB-D 传感器中捕获任意人物，并从未见过的视角生成逼真渲染的视图合成框架。该方法可重建面部表情，具有良好的鲁棒性和高质量的渲染效果，优于之前的视图合成方法。

Dec, 2021