Oct, 2020

使用位置引导网络学习 3D 面部重建

PDF
TL;DR本研究提出自监督学习的方法，使用姿势引导网络 (PGN) 进行单眼 3D 人脸重建，并通过结合参数模型的学习和数据驱动的学习技术，从完全标记的 3D 地标和无限制的野外面部图像中学习。通过使用包含同一人物多帧嵌入的面部几何信息的自监督学习方案，缓解了从单个图像回归 3D 面部几何的不适定性。在 AFLW2000-3D、Florence 和 FaceWarehouse 数据集上进行了严格评估，并表明我们的方法在所有指标上均优于最先进技术。
monocular 3d face reconstructionpose guidance networkself-supervised learningparametric model learningdata-driven learning techniques
发现论文，激发创造
  • 基于几何自监督的无监督三维姿态估计

    通过采用无监督学习技术，基于来自单个图像的 2D 骨架关节，我们提出了一种恢复 3D 人体姿势的方法，该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入，并生成相应的 3D 骨架估计，其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据，并通过自适应正则化机制使域适应效果更好。最终，在 Human3.6M 数据集上，我们的方法对无监督三维 lifting 的改进达到了 30％，并且优于许多明确使用 3D 数据的弱监督方法。

    Apr, 2019

  • 构造感知完全卷积神经网络的对抗学习用于地标定位

    通过结构感知的全卷积网络以及 GAN 的显式 / 隐式学习策略，该论文提出了一种解决单目图像中姿态估计问题的方法，并在 2D 和 3D 姿态估计以及人脸重要标识等相关任务上显著优于现有方法。

    Nov, 2017

  • 基于部件导向的新颖图像合成的自监督三维人体姿态估计

    本文提出了一种基于自监督学习的框架，利用单个基于零件的 2D 木偶模型、人体姿势约束和一组未配对的 3D 姿势来区分摄像机捕捉的人体姿态中的变化，从而在不同视频中提高多个任务的性能，包括 3D 姿势估计和部分分割。

    Apr, 2020

  • 自监督单目 3D 人脸重建：基于遮挡感知多视角几何一致性

    本文提出了基于多视角几何一致的自监督训练架构，目标是在面部姿态和深度估计过程中提供可靠的约束。实验结果表明，该方法在面部姿态、表情和光照等方面的变异下都表现出优越性。

    Jul, 2020

  • 利用自监督形状与姿态网络从图像集合转换为点云

    提出了一种深度学习技术，用于从单个图像进行三维物体重建。与以往的方法不同的是，该方法使用只有单一视角的图像进行训练，并具有自我监督学习能力，可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。

    May, 2020

  • FaceGPT：自监督学习关于 3D 人脸的对话

    FaceGPT 是一个自我监督学习框架，用于从图像和文本中推断 3D 人脸的大 视觉 - 语言模型（VLMs）的研究论文。

    Jun, 2024

  • 从视频中学习人脸模型

    利用多帧视频自我监督训练深度网络，学习面部身份模型并同时重建 3D 面部，采用新的多帧一致性损失函数使得 consistent shape 和 appearance 尽量减小深度不确定性，从而实现单目和多帧重建。

    Dec, 2018

  • 基于学习的新颖视角合成的全脸外貌的基于 3D 凝视估计

    本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

    Jan, 2022

  • 自监督单张图像下的三维人体姿态估计

    本论文提出了一种新的自我监督方法，通过训练不带标签的典型姿势图像数据集和未成对的 2D 姿势数据，从而实现了从单幅图像预测 3D 人体姿势的网络映射，可用于快速应用于其他人工结构（例如动物）的姿态估计。

    Apr, 2023

  • 弱监督学习下的精确三维人脸重构：从单张图像到图像集

    本文提出了一种使用深度学习技术进行 3D 面部重建的新方法，其中使用了混合损失函数进行弱监督学习，同时利用多个图像进行面部重建，实现了快速、准确、鲁棒的重建效果，对不同数据集进行了综合实验，并与 15 种现有方法进行了比较，证明了其性能处于领先地位。

    Mar, 2019