CVPRJul, 2019

移动 GPU 实时头发分割与重新上色

PDF
TL;DR提出了一种针对实时移动应用的基于神经网络的头发分割新方法，其相对较小的神经网络可在移动 GPU 上实现实时推理速度（视设备而定的 30-100+ FPS），同时保证高精度，并提出了一种高度逼真的头发重染方案，已在主要 AR 应用程序中部署并被数百万用户使用。
发现论文，激发创造
  • 移动设备上实时深度头发抠图

    该研究使用改进的 MobileNet CNN 技术，以快速准确的方式对头发进行分割，实现了在美容行业中实时增强发色的目标。

    Dec, 2017

  • 使用移动 GPU 从单目视频实时获取面部表面几何信息

    本文提出了一种基于神经网络的端到端模型，从单个摄像头输入中推断出人脸的近似 3D 网格表示，适用于 AR 应用程序。该模型具有相对密集的 468 个顶点网格模型，非常适合基于人脸的 AR 效果。该模型在移动 GPU 上具有超级实时推断速度（100-1000+FPS，取决于设备和模型变体），并且预测质量与同一图像的手动注释的变化相当。

    Jul, 2019

  • 神经剪发：基于先验引导的基于发丝的头发重建

    本文提出了一种名为神经剪发的方法，可以从单眼视频或多视角图像中恢复出具有高逼真度和个性化的发型，该方法有两个阶段并通过不同 iable renderer，通过隐式体积表示对粗糙的头发和胸围形状及发型方向，以及头发的先验进行精确的几何重建，从而解决了现有方案面临的挑战。

    Jun, 2023

  • 指甲油试穿：本地和浏览器智能手机 AR 应用的小物体实时语义分割

    本文提供了一个小物体的语义分割系统，使指甲油试色 AR 应用程序可以在本地和 web 手机应用程序中实时运行。通过调整输入分辨率和神经网络深度，我们的模型设计实现了性能和运行时间的平滑折衷，最高性能设置在 iPad Pro 上的本地应用程序中以 29.8 毫秒的运行时间实现了 94.5 mIoU。我们还提供了一个指甲油试色的后处理和渲染算法，该算法与我们的语义分割和指甲基部 - 顶部方向预测相结合。

    Jun, 2019

  • 基于 RGB 输入的实时面部分割和表现捕捉

    通过显式的语义分割技术，利用深度学习网络在实时的不受限制的图像中进行面部追踪，进而应用于虚拟化妆和面部替换任务。

    Apr, 2016

  • HairNet: 使用卷积神经网络进行单视角头发重建

    使用深度学习方法生成三维头发几何结构，性能实时，能恢复局部细节，并引入碰撞损失以合成更合理的发型。

    Jun, 2018

  • 移动设备上的实时神经视频恢复与增强

    移动设备上的视频流媒体体验优化是一个挑战，本文提出了一种基于深度学习的实时增强方法，包括视频帧恢复、超分辨率算法和接收端增强感知的视频比特率自适应算法，评估结果显示该方法能够提高视频流媒体系统的实时增强效果，并显著提高 24% 至 82% 的视频体验质量。

    Jul, 2023

  • 通过图像和深度反向图形学实现的发色数字化

    本文提出了一种新的方法用于抓取毛发实例的颜色外观，基于自监督机器学习的逆向图形模型，此方法结合了可控成像设备、光线追踪渲染器和逆向图形模型，并不需要使用可微分渲染进行训练，在真实和合成的图像上均能正确地捕捉和呈现毛发颜色。

    Feb, 2022

  • 神经渲染发型

    提出一种使用神经网络的头发渲染流程，通过共享潜在空间编码两个领域的外观不变结构信息生成逼真的渲染图像，并使用简单而有效的时间条件方法，可以在未经监督的情况下工作于任意头发模型，并在大量肖像上测试，得出其优于替代方案和最先进的无监督图像翻译方法的结论。

    Apr, 2020

  • 面向移动设备的实时自动人像抠图

    通过使用基于多分支扩张卷积的线性瓶颈块的模型 MMNet，我们解决了移动设备上自动人像抠图的问题，实现了实时推断，而且性能下降很小，比现有技术更快。

    Apr, 2019