Dec, 2023

基于面部局部分割的三维人脸重建

PDF
TL;DR本研究通过引入面部部分分割几何特征并利用 Part Re-projection Distance Loss (PRDL) 来优化点集的分布，从而在面部重建方面展现出最先进的性能。
3d morphable modelsface reconstructionpart segmentationgeometric contextsreconstruction performance
发现论文，激发创造
  • 基于形态模型引导的稀疏光度三维人脸重建

    本研究提出了一种新的三维人脸重建技术，利用稀疏光度立体和单个图像的面部建模技术，通过采用语义分割技术，可以精确重构面部毛发和裸露皮肤区域，包括皱纹、眉毛、丘疹、毛孔等微小的几何细节，其表现可与电影品质制作相媲美。

    Nov, 2017

  • 使用深度神经网络回归具有鲁棒性和判别性的三维可塑模型

    我们提出了使用卷积神经网络进行三维面部模型重建的方法，通过大量标记数据的生成，优化了模型的准确性和稳定性，得到了超过现有方法的识别结果，实现了使用三维面部模型进行面部识别。

    Dec, 2016

  • 通过联合网格和标记回归进行人脸透视重建

    本文提出一种同时重建世界空间中的 3D 面网格和预测图像平面上的 2D 面标记的方法，以解决透视 3D 面重建问题，该方法基于预测的 3D 顶点和 2D 标记，可轻松用 PnP 求解器估计出 6 自由度面姿态，并在 ECCV 2022 WCPA 竞赛中获得第一名，并且在不同的身份、表情和姿势下具有视觉稳健性。

    Aug, 2022

  • 基于自监督学习的详细 3D 人脸重建

    本文提出了一种基于 end-to-end learning 的学习框架，可用于从单个图像中详细地三维重建人脸，不需要传统方法计算的替代地面真值 3D 模型的监督，而是利用输入图像本身作为监督。

    Oct, 2019

  • 学习强健的 3D 人脸重建及判别身份表征

    本文提出了一种使用 Siamese 卷积神经网络的 3D 人脸重建方法，采用对比损失和恒等损失来保留身份特征信息和增加不同身份之间的距离，从而提高人脸识别的准确性。实验证明，在 300W-LP 和 AFLW2000-3D 等数据库上，相较于现有技术，该方法更加有效。

    May, 2019

  • 通过野外 2D 面部图像辅助单张图像的 3D 面部重建

    使用 2D 图像辅助自监督学习的方法可大幅提高 3D 人脸模型的学习效果，该方法引入 4 种自监督方案，显著降低了对传统 2D 到 3D 配对注释的需求，从而在多种数据集上均取得大幅优于现有技术的 3D 重建和面部对齐结果。

    Mar, 2019

  • 从野外图片中学习 3D 人脸可塑模型

    本文提出了一种新的框架以学习从大量野外人脸图像中学习非线性 3DMM 模型，该模型可以用于面部对齐，3D 重建和面部编辑。

    Aug, 2018

  • 深度可变形模型：通过部分一致性学习 3D 形状抽象

    本论文研究了精确形状抽象的显著和高效的基本描述符，提出了一种名为 Deep Deformable Models (DDMs) 的方法。DDM 利用全局变形和微分同胚本地变形来抽象复杂的物体形状，使用较少的基本图元提供更广泛的几何覆盖和更精细的细节，并能学习基于部位的语义对应关系。DDM 在形状重建和部位一致性方面的实验结果表明，较现有方法具有显著优势。

    Sep, 2023

  • 个性化面部建模以改进面部重建和运动重新定向

    提出了一种基于结合使用大量视频数据、学习不同用户的个性化面部模型以及独特表情的动态图像映射，可以准确捕捉广泛条件下的微细面部动态及更准确地重构面部和面部运动，比现有技术达到更好的效果。

    Jul, 2020

  • Part123：从单视角图像进行部位感知的三维重建

    Part123 是一种新颖的从单视图图像进行部分感知三维重建的框架，通过扩散模型生成多视角一致图像，并利用 Segment Anything Model (SAM) 生成多视角分割蒙版，然后通过对比学习将 2D 基于部分信息有效地结合到三维重建中，实验结果表明该方法可以在各种物体上生成具有高质量分割部分的三维模型，相较于现有无结构重建方法，该方法产生的部分感知三维模型对于特征保持重建、基本形状拟合和三维形状编辑等重要应用有益。

    May, 2024