在非受限图像中学习密集的面部对应关系
DeepFaceFlow 是一种基于 3D 的深度学习框架,用于快速准确地从单目图像中捕捉面部运动,并且可以应用于面部表情识别等领域,同时结合了 occlusion-aware 和 3D-based 损失函数进行训练和测试,方法优于现有的流和 3D 方法,还能作为完整的头部面部视频合成中的一部分。
May, 2020
通过引入创新的 2D 对齐网络以进行稠密的顶点对齐,我们提出了一种新颖的人脸追踪器 FlowFace,用于改善三维面部数据的精确性和避免反感谷效应。与先前的工作不同,FlowFace 是基于高质量的三维扫描注释进行训练,而不是基于弱监督或合成数据。我们的方法在自定义和公开可用的基准测试中表现出优秀的性能,并通过从二维视频生成高质量的三维数据来验证追踪器的有效性,这导致在下游任务中获得性能提升。
Apr, 2024
本研究提出了一种深度学习方法,用于在人体的 3D 扫描之间寻找密集的对应关系,深度卷积神经网络用于训练特征描述符,通过区域分类问题解决多种问题,并验证我们的方法在真实数据和合成数据上都表现出了优异的稳定性和准确性。
Nov, 2015
该研究论文提出了一种算法,通过自动检测的稀疏对应点并通过匹配三角形边缘处的表面曲率的显著点迭代地三角化已有的对应点并扩展它们来自动建立大量三维人脸之间的密集对应,同时构建了一种可变形模型用于未见过人脸的变形拟合,经过广泛的数据评估表明,该算法在合成数据和实际人脸上都达到了较高的稳健性和精度。
Oct, 2014
利用深度卷积神经网络提取中层特征,从高分辨率人脸数据库中拟合特征的凸组合,从而生成 photorealistic texture map,以实现从低分辨率输入图像中合成高逼真度的 3D 人脸渲染模型,并进行了广泛的验证。
Dec, 2016
本文提出一种简单的方法,可以同时重建三维人脸结构并提供密集对齐。该方法使用称为 UV 位置映射的二维表示来记录完整面部的三维形状,并使用简单卷积神经网络从单个二维图像中回归它。该方法不依赖于任何先前的人脸模型,并且可以重建全面部几何信息。与之前的作品相比,网络非常轻便,并且只需 9.8 毫秒即可处理图像。多次挑战数据集的实验表明,该方法在重建和对齐任务上均优于其他最先进的方法。
Mar, 2018
本研究针对两幅图像之间密集像素对应估计的挑战进行探讨,提出了一种基于粗到细的 CNN 框架,能够扩展光流方法的优势,解决大范围变换并提供密集和亚像素准确估计的问题,并在相对摄像机姿态估计问题上表现优异。
Oct, 2018
介绍了第一种完全无监督的对变形三维图形进行对应学习的方法,通过理解自然变形的形态变化近似保持曲面的度量结构,提出了一种驱动学习过程的自然准则,从而克服了对带注释数据的需求,并取而代之的是一种纯几何标准,学习模型不分含义类别,能够利用任何类型的可变形几何数据进行训练,相对于现有的专门针对训练期间观察到的类别的监督方法,我们展示出更强的泛化能力和应用于各种具有挑战性设置的能力,在广泛的对应基准测试中展示了我们的方法,在精度、泛化能力和效率方面均超过了其他方法。
Dec, 2018