Feb, 2018

3D 面部动作单元的有条件对抗合成

PDF
TL;DR本文提出了一种基于 3D 形态模型的面部图像综合框架，可以通过给定目标 AU 标签生成生成新的表情参数和面部图像来增强面部表情识别数据，并在基准 DISFA 数据集上表现出良好的增强效果和 AU 强度估计性能。
facial expression analysisdeep learningsynthesis frameworkaction unitdata augmentation
发现论文，激发创造
  • 基于区域的面部动作单元对抗合成

    本文提出了一种面部动作单元（AU）级别的面部表情合成方法，使用基于 AU 注释的本地注意条件生成对抗网络（LAC-GAN）控制 AU 状态，并使用非配对训练数据训练操纵模块， 在常用的 BP4D 数据集上进行定量和定性评估以验证该方法的有效性。

    Oct, 2019

  • 利用合成数据进行通用且公平的面部行为单元检测

    通过使用合成数据和多源领域自适应方法解决已标记数据稀缺和性别多样性问题，本文提出了一种基于面部表情再目标化方法的面部动作单元检测模型，并采用配对矩匹配方法来提高性别平等性，实现实现在真实环境中的面部动作单元检测。

    Mar, 2024

  • 面部动作单元识别的深层结构推理网络

    本文提出了一种基于深度神经网络的面部表情识别算法，通过学习局部和全局特征，以及类似于图推理方法的消息传递算法，显著提高了在 BP4D 和 DISFA 数据集上的表现。

    Mar, 2018

  • 面部动作单元检测深度模型的快速有效适应

    本文介绍了一个基于深度学习和元学习的人脸动作单元检测方法，可以在处理新的任务（新的单元或主体）时快速地适应，并在 BP4D 和 DISFA 数据集上通过测试，证明使用少量标记样本即可实现模型的适应。

    Sep, 2019

  • 学习对比特征表示用于面部动作单元检测

    通过引入一种增强的对比学习框架并结合监督和自监督信号，以获取具有区分性的特征，本研究通过样本采样、重加权策略以及损失函数 AUNCE 等方法，针对面部运动单元（AU）检测中困扰的像素级学习问题、标签噪音和 AU 类型不平衡等挑战，取得了优于最先进方法的优秀性能。

    Feb, 2024

  • GANimation：从单张图片生成有结构意识的面部动画

    该论文提出一种基于 Action Units 注释的新颖 GAN 条件方案，允许控制每个 AU 的激活幅度并结合其中几个。此外，它还提出了一种完全无监督的训练策略，并利用注意力机制使网络对不断变化的背景和光照条件具有鲁棒性，能够比竞争性条件生成器更广泛地合成生理可行的肌肉运动的表情。

    Jul, 2018

  • 自监督表示下的面部动作单元检测和强度估计

    本研究介绍了一种使用自监督学习方法的面部表情识别模型 MAE-Face，该模型在只 Fine-tune 1% 的数据集的情况下也可以取得较好的 AU 检测和 AU 强度估计结果.

    Oct, 2022

  • 面部动作单元强度估计的深度结构化学习

    本文提出一种基于条件随机场的 Copula CNN 深度学习方法，用于模型化面部表情中的多变量有序变量的结构，并从中提取出复杂的特征表达。通过在新引进的均衡批量迭代训练算法和深度 CNN 特征编码层中联合优化这些 CLIQUES，显著提高了面部表情分析性能。

    Apr, 2017

  • AUEditNet: 面部动作单元强度操纵的双分支网络与隐式解缠

    我们提出了 AUEditNet 模型，通过使用双分支架构，在仅有 18 个被试者的情况下实现了对 12 个面部动作单元（AU）的印象深刻的强度操纵。该方法在面部属性和身份方面实现了全面的解耦，无需额外的损失函数或大批量训练，为在数据集主体数量有限的情况下实现期望的面部属性编辑提供了潜在解决方案，并证实了 AUEditNet 在编辑 AU 强度方面的高准确性，验证了我们提出的 AU 强度操纵方法的有效性。

    Apr, 2024

  • 人脸动作单元检测的个体无关对比学习

    本研究提出了一种自监督对比学习方法，从大量未标注的面部视频中学习面部动作单元的表示，以解决缺乏数据的问题，并通过跨身份重建机制学习人物无关的表示。实验结果表明，所学习的面部动作单元表示对于动作单元检测具有较好的区分度，并且在自监督和有监督的动作单元检测方法之间显著减小了性能差距。

    Mar, 2024