Nov, 2023

还原被遮挡的面部特征

PDF
TL;DR我们提出了一种在不重复微调模型的情况下恢复遮挡面部特征的方法，通过使用 CycleGAN 架构，可以消除匹配对的要求，并且我们的重建结果与真实无遮挡记录进行了比较。评估结果表明，我们达到了与无遮挡传感器的视频相似的分数。
facial analysisobstructed facial partsreconstructionstyle transferhuman perception
发现论文，激发创造
  • GANs 重建匿名化面部特征的 Refacing 技术

    本研究利用 CycleGAN 无监督图像转换框架，分别对面部有模糊和无脸部的 T1 MR 图像进行匿名化测试。结果表明，进行脸部模糊可能无法提供足够的保护措施，而脸部去除虽然提供更强的匿名化保护，但仍部分可逆。

    Oct, 2018

  • 部分遮挡下的面部表情分析：一项调查

    本综述回顾了面部表情分析 (FEA) 中因遮挡导致自动表情识别性能下降的原因，并围绕数据集创建、算法发展等方面的技术进展和面临的挑战，为未来工作提供更好的信息和基准。

    Feb, 2018

  • 分割重构引导的面部图像去遮挡

    本研究提出了一种基于人脸分割和三维人脸重建的面部去遮挡模型，通过预测面部先验和遮挡掩码实现了对所有种类的面部遮挡（包括毛发等较模糊的边界）的自动去除，并为了监督训练进一步构建了一个大型遮挡数据集。实验证明，该方法有效且鲁棒。

    Dec, 2021

  • 从单张图像中学习详细的人脸重建

    本文介绍了一种使用卷积神经网络构建面部几何细节的方法，包括由粗到细的两个网络模块和多阶段的训练阶段，可以从单张图像中提取面部表面。

    Nov, 2016

  • 极端三维人脸重建：穿透遮挡

    该研究提出了一种通过采用分层方法解决 3D 面部重建过程中的整体形状、中层细节和局部细节估计间的复杂关系，以应对不正面、非平面旋转和遮挡等极端条件，进而实现高质量面部重建。

    Dec, 2017

  • 基于迁移学习的虚拟现实头戴式显示器下部分遮挡下的面部表情识别

    本文提出了一个基于几何模型的方法，在虚拟现实场景下戴着头戴式 VR 耳机困难的面部表情识别问题，在 FER + 和 RAF-DB 数据集上使用迁移学习方法，并在根据佩戴一款普通 VR 设备所导致的实际遮挡情况修改的基准数据集上展示了令人满意的识别结果。

    Aug, 2020

  • 极端环境下的人脸检测：机器学习方法

    本文提出一种深层级联多任务框架，通过三层深度卷积神经网络的分级设计，在对人脸和人脸特征区域进行预测的粗到细的过程中，利用其中的内在相关性以提高人脸检测和特征点定位的性能，在学习过程中还采用一种新型的在线困难样本挖掘方法，能够自动提高性能而无需手动样本选择。

    Jan, 2022

  • 基于脑活动的感知面部重建的双向流 GAN 模型

    本研究提出了一种名为 Double-Flow GAN 的新型重构框架，通过增强判别器的能力和处理在某些领域中图像的不平衡性，提高了从脑活动中重建知觉面孔的能力，并通过使用从图像中提取的特征作为条件进行预训练，解决了在更大的纯图像数据集中从 fMRI 预训练条件重构模型的问题。此外，还开发了一个简单的预训练模型来执行 fMRI 对齐，缓解了由于不同受试者之间的脑结构变化而导致的跨被试重建问题。通过采用我们提出的方法和最先进的重建模型进行实验证明，我们的方法显示出显著的重建性能，超越了先前的重建模型，并展现了良好的生成能力。

    Dec, 2023

  • 基于面部动作单元检测的遮挡感知学生情绪识别

    通过监测学生在课堂中的情绪作为参与度的指标，并提出了一种方法来解决这个问题，本研究评估了不同面部部位对情绪识别模型性能的影响，并引入了一个人工遮挡数据集来测试部分遮挡下的提议模型。研究的创新之处在于提出了一种面部动作单元（AUs）提取的遮挡感知架构，该架构采用了注意机制和自适应特征学习，而这些 AUs 可以用于分类课堂环境中的面部表情。研究的发现为分析面部图像的情绪参与分析中处理遮挡提供了宝贵的见解，实验结果表明在课堂环境中考虑遮挡并提高面部分析模型的可靠性的重要性，并且这些结果也可以推广到其他普遍存在遮挡的场景。

    Jul, 2023

  • 学习合成数据进行 3D 人脸重建

    本论文介绍了一种基于卷积神经网络和生成随机几乎逼真的面部图像的方法，可以通过单张照片快速、稳健地重建面部的三维几何结构，即使在极端表情和各种光照条件下也可以成功恢复面部形状。

    Sep, 2016