深度脸部流:野外稠密三维面部运动估计
在这篇论文中,我们提出了一种新的变形技术,将 2D 和 3D 方法的优势结合起来,以实现稳健的面部再演技术。我们生成了密集的 3D 面部流场,并通过所提出的 “循环变形损失” 将其转换回 2D RGB 空间,从而实现了对源面孔和目标面孔的 3D 几何控制。通过首先渲染面部前景区域,然后学习对由于源面孔平移而需要填充的空白区域进行修复,我们重建了细节丰富的背景,而且在渲染无伪影的面部图像方面超过了现有技术。
Apr, 2024
通过引入创新的 2D 对齐网络以进行稠密的顶点对齐,我们提出了一种新颖的人脸追踪器 FlowFace,用于改善三维面部数据的精确性和避免反感谷效应。与先前的工作不同,FlowFace 是基于高质量的三维扫描注释进行训练,而不是基于弱监督或合成数据。我们的方法在自定义和公开可用的基准测试中表现出优秀的性能,并通过从二维视频生成高质量的三维数据来验证追踪器的有效性,这导致在下游任务中获得性能提升。
Apr, 2024
本文提出了一种使用神经网络在高度自由的 RGB 图像中计算面部对应关系的最简单有效的方法,使用渲染可变姿势、表情、照明和遮挡的多样化三维面部模型生成大量人工数据集,结合真实照片培训表现在精度和速度上优于现有方法,并可以成功地处理极端姿势变化、遮挡和光照条件。
Sep, 2017
本研究提出了一种基于深度学习的模型,用于估计连续 RGB-D 图像之间的场景流,可以将场景分成多个刚体运动的对象,利用编码和解码阶段,得到了像素级目标中心、运动和旋转估计,并在大规模合成和真实数据集上测试了模型性能。
Apr, 2018
DFPNet 是一种联合学习系统,通过单眼图像序列估计单眼景深、光流和自身运动(相机姿态),使用单一的复合损失函数进行训练,并使用超参数调整来使模型的大小小于目前市场上同类模型的 5%以下。在 KITTI 和 Cityscapes 驾驶数据集上进行评估,结果表明我们的模型在所有三个任务上的表现都可以媲美目前市场上同类模型的表现,即使模型大小明显更小。
May, 2022
本文提出的单目场景流(Scene Flow)估计方法基于一个卷积神经网络(CNN),通过充分考虑光流代价体积,成功估算出深度和三维运动。我们采用了自监督学习方法,利用三维损失函数和遮挡推理来提高估计精度。实验结果表明,该方法在单目场景流估计领域取得了最佳性能,同时在光流和单目深度估计子任务上也获得了很好的结果。
Apr, 2020
本文提出了一种基于光流和稀疏深度先验的方法,将动态场景模型假设为分段平面模型,计算其局部刚性变换和尽可能刚性的全局变换,无需显式估计 3D 旋转和平移即可高效恢复场景的深度密集图,适用于广泛的场景。
Feb, 2019
本文通过自监督学习介绍了一种基于多帧单目场景流网络的方法,该方法在保持实时效率的同时显著提高了准确性,并通过在 KITTI 数据集上进行测试达到了自我监督学习中的最新水平。
May, 2021
本文提出了一种基于正规化流的人体 3D 姿态恢复方法,采用多种假设生成可行的 3D 姿势的后验分布,并结合 2D 检测器的不确定性信息建模不确定探测和遮挡,其中学习出的 3D 姿态先验和最优 M 损失的推广是实现成功的关键因素,该方法在人体 3.6M 和 MPI-INF-3DHP 两个基准数据集上优于所有可比方法。
Jul, 2021