FaceLift: 半监督的三维面部关键点定位
本研究提出了两种技术来改善局部标记数据集中的地标定位。第一种技术是顺序多任务,利用分类或回归任务的类标签引导未标记数据的局部标记定位。第二种是基于无监督学习的方法,通过模型预测图片上的等变地标来提高地标定位,本文在两个玩具数据集和四个实际数据集上进行实验,包括手和脸部, 并在只有 5%标记图像的条件下,跑过了之前在 AFLW 数据集上的最新 state-of-the-art 算法。
Sep, 2017
本文提出一种新的面部标记检测方法,通过使用样式转换来增加每个个体的分离样式和形态空间,得到增强的合成样本,进而构建了一种半监督模型,实现了在 WFLW 数据集上的最先进结果。
Aug, 2019
使用基于深度学习的方法,该研究发展和评估了一种自动化头影测量标注方法。该方法在三维面部立体摄影中实现了自动的标注,能够精确和一致地标记关键点,可用于大数据集的定量分析,诊断,随访和虚拟手术规划。
Sep, 2023
通过采用无监督学习技术,基于来自单个图像的 2D 骨架关节,我们提出了一种恢复 3D 人体姿势的方法,该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入,并生成相应的 3D 骨架估计,其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据,并通过自适应正则化机制使域适应效果更好。最终,在 Human3.6M 数据集上,我们的方法对无监督三维 lifting 的改进达到了 30%,并且优于许多明确使用 3D 数据的弱监督方法。
Apr, 2019
本文研究了从 3D 可塑模型(3DMM)和 3D 面部标记的协同学习过程,以预测完整的 3D 面部几何,包括 3D 对齐,面部方向和 3D 面部建模。我们的协同过程利用了 3DMM 参数和 3D 标记的表示循环。3D 标记可以从 3DMM 参数构建的面部网格中提取和精炼。接下来,我们逆转表示方向,并显示从稀疏的 3D 标记预测 3DMM 参数可以改善信息流量。总的来说,我们创建了一个利用 3D 标记和 3DMM 参数之间关系的协同过程,它们共同促成了更好的性能。我们在面部几何预测的全部任务上进行了广泛的验证,并展示了在这些任务的各种场景下我们卓越和稳健的性能。特别地,我们仅采用简单和广泛使用的网络操作来实现快速和准确的面部几何预测。
Oct, 2021
通过未标定的 2D 图像在无监督的方式下重建 3D 面部,并针对稠密地标进行预测,该方法在模型大小和计算成本上优于现有方法,并在各种头部姿势和面部变化中展现了高效性。
Aug, 2023
本文提出一种基于深度学习的新型概率模型,解决人脸关键点检测中存在的语义模糊问题,并提出了全局热力图校正单元进行精确定位,并通过图像和视频数据库的实验证明本文方法能够显著提高人脸关键点检测的精确性。
Mar, 2019
本文基于教师与学生之间的交互机制,利用无标签数据来生成更可靠的伪标签,有利于半监督人脸关键点检测,经过在 300-W 和 AFLW 基准测试上广泛的实验表明,教师与学生之间的交互机制有助于更好地利用无标签数据,并实现了最先进的性能。
Aug, 2019
提出了一种新的联合人脸对齐和三维人脸重建方法,该方法可以自动生成姿态和表情归一化的三维人脸,并能恢复可见和不可见的二维人脸关键点,从而可以改善跨姿态和表情的人脸识别准确性。实验结果表明,该方法在人脸对齐和三维人脸重建方面均达到了最先进的精度。
Aug, 2017