Aug, 2023

基于 FLAME 的多视图 3D 人脸重建

PDF
TL;DR通过将多视图训练框架与面部参数模型 Flame 相结合，本论文旨在实现更好的面部 3D 重建质量，提出了一个多视图训练和测试模型 MFNet（多视图 Flame 网络）。通过建立自监督训练框架，引入多视图光流损失函数和面部标志损失等约束，最终获得了完整的 MFNet。基于 AFLW 和 facescape 数据集以及模拟实际场景拍摄的面部照片，我们在尽可能模拟实际情况的同时重建了 3D 面部，并取得了良好的结果。本研究主要解决了将面部参数模型与多视角面部 3D 重建相结合的问题，并探索了基于 Flame 的多视图训练和测试框架的实现，对于面部 3D 重建领域有一定的贡献。
face 3d reconstructionmulti-view training frameworkflamemulti-view optical flow lossparametric models
发现论文，激发创造
  • MVF-Net: 多视角 3D 人脸可塑模型回归

    本文提出一种基于卷积神经网络和多视图图像的 3D 人脸重建方法，使用自监督的视角对齐损失来减少视图之间对齐误差，并使用光流法预测 3D 形状，实现更好的 3D 重建结果。

    Apr, 2019

  • 从视频中学习人脸模型

    利用多帧视频自我监督训练深度网络，学习面部身份模型并同时重建 3D 面部，采用新的多帧一致性损失函数使得 consistent shape 和 appearance 尽量减小深度不确定性，从而实现单目和多帧重建。

    Dec, 2018

  • 自监督多层面部模型学习，在超过 250 Hz 的单目重建中

    本论文提出了一种基于联合学习参数人脸模型和面部形状、表情、反射和照明的回归器的方法，其结合了 3D 可塑模型（3D Morphable Model）的优点和学习校正空间的空外推广优点。

    Dec, 2017

  • FLAME: 面部标志热图激活的多模态凝视估计

    本研究提出了一种新的技术 ——Facial Landmark Heatmap Activated Multimodal Gaze Estimation (FLAME)，通过使用眼部解剖信息结合眼睛地标热图来获得精确的注视估计，从而克服了人体解剖差异的问题，而不需要任何人特定的标定。研究评估表明，本方法在 ColumbiaGaze 和 EYEDIAP 的基准数据集上具有竞争性能，并进行消融研究以验证方法的有效性。

    Oct, 2021

  • AFNet-M：自适应融合网络与面部表情识别的 2D+3D 面部表情识别

    本研究提出了一种自适应融合网络，利用人脸显著区域的掩码来增强 2D 和 3D 局部特征，通过设计的调制向量自动学习，以及计算重要性权重的新型融合策略可以在卷积层中执行自适应融合。实验结果表明，该方法在 BU-3DFE 和 Bosphorus 数据集上具有最先进的性能并且需要较少的参数。

    May, 2022

  • 3DFIRES: 带有隐藏表面的场景的少图像三维重建

    通过少量视角图像，3DFIRES 系统能够实现场景级别的三维重建，包括隐藏表面，通过融合多视角信息，其在稀疏视角下的三维重建方法在定量和定性指标上优于现有技术。

    Mar, 2024

  • 3FabRec: 基于重构的快速小样本人脸对齐

    本文提出了一种基于半监督学习的方法，其思想是通过无监督学习生成脸部特征并使用转移学习的方式实现面部特征检测，该模型表现出广泛的适应性和高精度，并且在只有十个训练图片的情况下也能保持较高的准确率。

    Nov, 2019

  • 自监督单目 3D 人脸重建：基于遮挡感知多视角几何一致性

    本文提出了基于多视角几何一致的自监督训练架构，目标是在面部姿态和深度估计过程中提供可靠的约束。实验结果表明，该方法在面部姿态、表情和光照等方面的变异下都表现出优越性。

    Jul, 2020

  • 基于深度神经网络的端对端三维人脸重建

    该篇论文提出了一种基于深度神经网络的端到端的方法来从单张 2D 人脸图像中进行三维人脸重建，并且利用了多任务损失函数和融合卷积神经网络来提高人脸表情重建的准确性。

    Apr, 2017

  • 烟雾中用专注深度度量学习解析隐藏火焰的 FlameFinder

    FlameFinder 是一个深度度量学习（DML）框架，利用消防员无人机的热像图在野火监测过程中准确检测烟火，即使被烟雾遮挡。它通过使用配对的热 - RGB 图像进行训练来解决传统 RGB 相机在这种条件下的困难，并利用等效热域分布来分析被烟雾遮挡的火焰特征，从而提高了性能。该框架结合了火焰分割方法和 DML 辅助检测框架，通过引入注意机制和不同损失函数，改进了模型的性能和可解释性。在未被遮挡的火焰检测准确性方面，该模型超过了 FLAME2 数据集的基线 4.4％和 FLAME3 数据集的基线 7％，与 VGG19、ResNet18 和其他针对火焰检测设计的三个骨干模型相比，在被遮挡的场景中展示出更好的类别分离效果。

    Apr, 2024