无限 3D 关键点:提升连续 2D 面部关键点检测
本文提出了一种深度结构化面部标记检测方法,该方法使用深度卷积网络和条件随机场相结合,能够在面部标记检测上取得比现有技术更卓越的性能,特别是在包含大姿态和遮挡等具有挑战性的数据集上具备更好的泛化性能。
Oct, 2020
介绍了一种采用半监督学习方法,在没有 3D 地标数据集的情况下,通过直接提取(可见的)手工标记的 2D 地标,并确保更好的定义对齐,从而学习 3D 地标。该方法利用 3D 感知的生成对抗网络进行更好的多视角一致性学习,并利用实景多帧视频进行鲁棒的跨领域泛化。实证实验证明,该方法不仅在 2D-3D 地标之间实现了更好的定义对齐,还在 3DMM 标记和摄影测量基准数据集上优于其他监督学习的 3D 地标定位方法。
May, 2024
本篇论文介绍了一种在人体点云上进行三维关键点检测的挑战,并提出了一种名为 Dual Cascade Point Transformer (D-CPT) 的模型,该模型通过级联的 Transformer 解码器逐步优化关键点,在本地区域使用 RefineNet 增强关键点坐标,通过在 HPoint103 和公共数据集 DHP19 上进行对比评估,验证了我们的 D-CPT 模型在关键点检测方面的显著性能优势,并表明将我们的 RefineNet 集成到现有方法中可以持续提高性能。
Jan, 2024
本研究提出了两种技术来改善局部标记数据集中的地标定位。第一种技术是顺序多任务,利用分类或回归任务的类标签引导未标记数据的局部标记定位。第二种是基于无监督学习的方法,通过模型预测图片上的等变地标来提高地标定位,本文在两个玩具数据集和四个实际数据集上进行实验,包括手和脸部, 并在只有 5%标记图像的条件下,跑过了之前在 AFLW 数据集上的最新 state-of-the-art 算法。
Sep, 2017
通过知识蒸馏方法,本研究提出了一种创新的方式,可以开发适用于嵌入式系统的轻量级但功能强大的深度学习模型,以应对面部地标检测任务中的挑战,包括动态环境、不同的表情、方向和光照条件。
Apr, 2024
基于场景地标检测的摄像头定位方法,采用卷积神经网络(CNN)检测少量特定的场景 3D 点或地标,并从相关的 2D-3D 对应中计算摄像头姿态,具有与基于 3D 结构的方法相当的准确性,但速度更快且使用存储空间更少。
Jan, 2024
该研究论文提出了一种通过使用合成数据达到高密度标记点的方法来进行面部重建的方法,并成功将其用于嘴巴和眼睛等部位进行表情捕捉,从而取得了在单目 3D 面部重建方面的最新成果。
Apr, 2022
本文提出一种基于深度学习的新型概率模型,解决人脸关键点检测中存在的语义模糊问题,并提出了全局热力图校正单元进行精确定位,并通过图像和视频数据库的实验证明本文方法能够显著提高人脸关键点检测的精确性。
Mar, 2019
本文介绍了一种结合数据和模型的方法来完成面部关键点的检测,即先利用全卷积网络(Fully Convolutional Network, FCN)来生成脸部所有关键点的响应图,再利用 Point Distribution Model(PDM)生成初始面部形状,最后使用加权变体的正则化关键点均值漂移(RLMS)来微调面部形状,实验表明本文提出的方法在面部表情、头部姿态和部分遮挡等挑战性数据集上都能够取得最好的表现。
Nov, 2016
通过未标定的 2D 图像在无监督的方式下重建 3D 面部,并针对稠密地标进行预测,该方法在模型大小和计算成本上优于现有方法,并在各种头部姿势和面部变化中展现了高效性。
Aug, 2023