人像透视矫正学习
本研究介绍了第一个基于深度学习的方法,用于去除自由拍摄的广角人像照片中的透视失真和形变等因素,建立了一个包括 LineNet,ShapeNet 和 transition module(TM)的级联网络,并提出了两个新的度量标准:线条一致性和面部一致性,相比之前的最先进方法,本方法不需要相机失真参数,能够在身份、场景和相机模块的大多数多样性方面得到较好的性能。
Apr, 2021
本文提供一种基于学习的方法来从单个肖像图像中恢复人头的 3D 几何形状,并且使用参数化 3D 人脸模型来表示头部几何形状以及其他头部区域的深度图,同时使用双目立体匹配方法从具有野外人脸的图像中学习头发和耳朵的几何信息,最后,评估和对比结果表明该方法可以产生高保真的 3D 头部几何形态和头部姿态操作结果。
Apr, 2020
本文提出了一个新的照片逼真人像生成框架,可以有效减轻「奇异山谷」效应,提高渲染人像的真实性。使用转移学习从渲染人像的潜在空间学习到真实人像的潜在空间的一致映射,使虚拟角色的人像在外观风格改变的同时保持面部身份的不变,通过细化 StyleGAN2 生成器以保留与面部身份相关的几何和色彩特征。通过定性和定量评估以及消融实验,证明了我们的方法相较于现有方法的优势。
Oct, 2023
本文提出了一种名为 SUPER 的新方法,用于消除自拍照片中的失真和调整头部姿势,实现了更真实的自拍照片编辑。通过 3D GAN 反向传播优化相机参数和面部隐藏编码,生成一张图像。此外,估计获得的隐藏编码的深度,创建深度感应的 3D 网格,并使用更新的相机参数进行渲染,获得一个形变的自画像。最后,通过基于可见性的融合,重新投影可见区域,并使用生成模型恢复被遮挡的部分。对自拍照片失真基准和自行收集的头部旋转数据集(HeRo)的实验表明,SUPER 在定性和定量上均优于以前的方法,为实现逼真的自拍照片编辑开辟了新的可能性。
Jun, 2024
本文提出一种同时重建世界空间中的 3D 面网格和预测图像平面上的 2D 面标记的方法,以解决透视 3D 面重建问题,该方法基于预测的 3D 顶点和 2D 标记,可轻松用 PnP 求解器估计出 6 自由度面姿态,并在 ECCV 2022 WCPA 竞赛中获得第一名,并且在不同的身份、表情和姿势下具有视觉稳健性。
Aug, 2022
我们提出了一种通过对特定 Möbius 变换的精确参数控制来模拟现实世界的变形,无需估计相机内在和外在参数,也无需实际变形数据,以缓解透视畸变。此外,我们还提出了一个专用的透视畸变基准数据集 ImageNet-PD,以评估深度学习模型在该数据集上的鲁棒性,该方法在现有基准 ImageNet-E 和 ImageNet-X 上表现出色,同时在标准数据分布上始终保持良好性能。此外,我们的方法提升了三个透视畸变相关的实际应用:人群计数、鱼眼图像识别和人物重新识别。我们将发布源代码、数据集和模型以促进进一步研究。
Mar, 2024
我们提出了第一个通用框架,用于自动纠正单个输入图像中不同类型的几何畸变。我们的方法采用卷积神经网络(CNN),通过使用大型合成畸变数据集进行训练,以预测扭曲图像和校正图像之间的位移场。模型拟合方法使用 CNN 输出估计畸变参数,实现更准确的预测,并使用高效,高质量的重采样方法生成最终的校正图像。实验结果表明,我们的算法优于传统的校正方法,可实现有趣的应用,如畸变转移,畸变夸张和共同发生的畸变校正。
Sep, 2019
本文旨在探讨预训练模型在输入图像扭曲时是否会出现偏向性。通过对四个深度人脸识别模型在图像扭曲下不同性别和种族子群的表现进行系统分析,我们发现图像扭曲与模型在不同子群之间的性能差距存在关联。
Aug, 2021
提出一种半监督网络用于广角肖像矫正,利用一致性机制和多尺度 Swin Transformer 块构建 MS-Unet 网络,同时使用标记和未标记数据进行训练,实现了比现有方法更优异的结果。
Sep, 2021
本文提出一种深层级联多任务框架,通过三层深度卷积神经网络的分级设计,在对人脸和人脸特征区域进行预测的粗到细的过程中,利用其中的内在相关性以提高人脸检测和特征点定位的性能,在学习过程中还采用一种新型的在线困难样本挖掘方法,能够自动提高性能而无需手动样本选择。
Jan, 2022