移动设备上实时深度头发抠图
提出了一种针对实时移动应用的基于神经网络的头发分割新方法，其相对较小的神经网络可在移动 GPU 上实现实时推理速度（视设备而定的 30-100+ FPS），同时保证高精度，并提出了一种高度逼真的头发重染方案，已在主要 AR 应用程序中部署并被数百万用户使用。
Jul, 2019
本文提出了一种基于深度学习的、适用于移动设备上实时进行图像抠图的方法，包括使用二元掩膜和边缘保留技术来实现精确抠取肖像图像。实验结果表明，该算法在跟踪最新的抠图算法的同时，实现了 15 帧每秒的实时性能。
Jul, 2017
本文提供了一个小物体的语义分割系统，使指甲油试色 AR 应用程序可以在本地和 web 手机应用程序中实时运行。通过调整输入分辨率和神经网络深度，我们的模型设计实现了性能和运行时间的平滑折衷，最高性能设置在 iPad Pro 上的本地应用程序中以 29.8 毫秒的运行时间实现了 94.5 mIoU。我们还提供了一个指甲油试色的后处理和渲染算法，该算法与我们的语义分割和指甲基部 - 顶部方向预测相结合。
Jun, 2019
本文提出了一种基于神经网络的端到端模型，从单个摄像头输入中推断出人脸的近似 3D 网格表示，适用于 AR 应用程序。该模型具有相对密集的 468 个顶点网格模型，非常适合基于人脸的 AR 效果。该模型在移动 GPU 上具有超级实时推断速度（100-1000+FPS，取决于设备和模型变体），并且预测质量与同一图像的手动注释的变化相当。
Jul, 2019
本文提出了一种新的方法用于抓取毛发实例的颜色外观，基于自监督机器学习的逆向图形模型，此方法结合了可控成像设备、光线追踪渲染器和逆向图形模型，并不需要使用可微分渲染进行训练，在真实和合成的图像上均能正确地捕捉和呈现毛发颜色。
Feb, 2022
该论文介绍了一种方法，通过在计算机上训练 CNN 模型并将优化的权重矩阵传输到 AR 头戴设备，以在 AR 头戴设备上部署 CNN 模型。该方法将图像数据和 CNN 层转换为适合 AR 平台的一维格式，在 HoloLens AR 头戴设备上使用 PyTorch 训练 LeNet-5 CNN 模型并部署，结果表明模型的准确率约为 98%，与在计算机上的表现相似。这种 CNN 和 AR 的结合使得 AR 头戴设备能够实时进行图像处理，实现了人工智能模型与人的交互。
Jun, 2024
该论文介绍了一种基于神经渲染的深层结构，可以在实时中进行补全、超分辨率、去噪，取得高质量图像，适用于虚拟和增强现实头盔，大大改善了用户的使用体验。
Nov, 2018
移动设备上的视频流媒体体验优化是一个挑战，本文提出了一种基于深度学习的实时增强方法，包括视频帧恢复、超分辨率算法和接收端增强感知的视频比特率自适应算法，评估结果显示该方法能够提高视频流媒体系统的实时增强效果，并显著提高 24% 至 82% 的视频体验质量。
Jul, 2023