Mar, 2024

面部网格注册的几何光度联合对齐

PDF
TL;DR本文提出了一种几何光度联合对齐（GPJA）方法，通过结合几何和光度信息，精确对齐人类表情。该方法利用可微渲染将顶点与目标表情对齐，实现几何和光度外观的联合对齐，无需语义注释或对齐网格进行训练，具有整体渲染对齐策略和多尺度正则化优化，获得健壮和快速的收敛性。实验结果表明，在各种表情下实现了准确对齐，超越了传统的基于 ICP 的方法和最先进的基于深度学习的方法。在实际应用中，我们的方法提高了从多视角立体人脸扫描中获取拓扑一致的人脸模型的效率。
geometric-photometric joint alignmenthuman expressionsgeometry and photometric informationdifferentiable renderingfacial template meshes
发现论文，激发创造
  • 人脸联合对齐及三维面部重建在人脸识别中的应用

    提出了一种新的联合人脸对齐和三维人脸重建方法，该方法可以自动生成姿态和表情归一化的三维人脸，并能恢复可见和不可见的二维人脸关键点，从而可以改善跨姿态和表情的人脸识别准确性。实验结果表明，该方法在人脸对齐和三维人脸重建方面均达到了最先进的精度。

    Aug, 2017

  • 视觉域自适应的几何和统计联合对齐

    本文提出一种新的无监督领域自适应方法，称为联合几何和统计对齐（JGSA），可以通过统计和几何学方法同时减少源域和目标域之间的偏差。通过两个耦合投影，将源域和目标域数据投影到一维子空间中，同时减少几何偏移和分布偏移，并且目标函数可以高效地封闭求解。大量实验证明，所提出的方法在合成数据集和三个不同的实际交叉领域视觉识别任务上显著优于若干现有领域适应方法。

    May, 2017

  • 通过联合网格和标记回归进行人脸透视重建

    本文提出一种同时重建世界空间中的 3D 面网格和预测图像平面上的 2D 面标记的方法，以解决透视 3D 面重建问题，该方法基于预测的 3D 顶点和 2D 标记，可轻松用 PnP 求解器估计出 6 自由度面姿态，并在 ECCV 2022 WCPA 竞赛中获得第一名，并且在不同的身份、表情和姿势下具有视觉稳健性。

    Aug, 2022

  • 基于光度学的网格优化技术，用于视频对齐的三维物体重建

    本论文研究了从 RGB 视频中重建三维物体网格的方法，结合多视角几何和数据驱动方法来优化物体网格以适应多视角光度一致性，并通过形状先验来约束网格变形。作者采用逐片图像对齐的形式，通过光度误差更新形状参数，无需深度或掩膜信息。此外，作者还展示了如何通过虚拟视点的光栅化来避免零光度梯度导致的退化问题，并展示了采用光度网格优化的方法从合成和真实视频中获得的三维物体网格重建结果，相比于传统的网格生成网络或表面重建方法，避免了繁琐的手动后处理。

    Mar, 2019

  • 通过融合头部姿态信息和特征实现的 3D 面部对齐

    本研究提出了一种新方法，通过将头部姿势信息与面部定位网络的特征图相融合，改进了面部定位的性能。此外，所提出的网络结构通过使用 2D 特征图和 3D 热图表示的多维特征，在双维度网络中实现了鲁棒的面部定位。为了有效地进行密集面部定位，我们还提出了基于知识蒸馏的训练方法，用于通过预测关键点来预测面部几何标记。通过实验评估了预测的面部标记与头部姿势信息之间的相关性，以及面部标记的准确性与头部姿势信息的质量之间的变化。此外，我们还在 AFLW2000-3D、AFLW 和 BIWI 数据集上与最先进的方法进行了竞争性性能比较，证明了所提方法的有效性。

    Aug, 2023

  • 野外多视图人脸对齐

    本文提出了一种联合多视角卷积网络，用于处理野外环境下面部姿态的大幅度变化，并优雅地桥接面部检测和面部标记定位任务，该方法对于半正面和侧面脸可检测和对齐大量关键点，并在多个数据集上证明了对于面部追踪和面部检测的显著改进。

    Aug, 2017

  • GPAvatar: 从图像 (s) 生成具有通用性和精确性的头像

    通过引入一个由点云驱动的动态基于点的表情场，以及在三平面规范场中使用多三平面注意力（MTA）融合模块来利用多个输入图像的信息，我们提出了一种名为 GPAvatar 的框架，可以在单次前向传递中从一个或多个图像中重建 3D 头像，实现忠实的身份重建，精确的表情控制和多视角一致性，并展示了自由视点渲染和新视角合成的有 promising 结果。

    Jan, 2024

  • GoDP: 大范围优化的双通道系统用于野外人脸关键点定位

    提出了一种基于 Globally Optimized Dual-Pathway (GoDP) 深度架构的人脸定位方法，并通过多个人脸数据库的实验表明，该方法相比基于级联回归的方法更加优越。

    Apr, 2017

  • 姿态不变的 3D 人脸对齐

    本文提出一种新的面部对齐算法，利用 3D 可变形模型和级联耦合回归器，估计带有任意姿态的人脸图像的 2D 和 3D 地标及其 2D 可视性。实验结果表明，该算法在所有姿态人脸图像上的表现优于现有方法。

    Jun, 2015

  • 使用不变专家混合的鲁棒人脸对齐

    该研究提出了一种级联的面部对齐算法，其中每个级别都由回归专家的混合组成，该系统不受预定义类别的变换的影响，并且可在鉴别对准框架中包含形变约束，从而使该算法更加稳健。

    Nov, 2015