Mar, 2024

AUFormer：视觉 Transformer 是参数高效的面部动作单元检测器

PDF
TL;DR基于面部动作单元（AU）的参数高效迁移学习方法，引入 AUFormer 和 MoKE 协同机制，以实现参数高效的 AU 检测，并设计了一种 MDWA-Loss 以更好地关注激活的 AU、区分未激活 AU 的难度并排除潜在标签错误样本。实验证明 AUFormer 具有最先进的性能和强大的泛化能力，无需依赖其他相关数据。
facial action unitsau detectionparameter-efficient transfer learningmoke collaboration mechanismmargin-truncated difficulty-aware weighted asymmetric loss
发现论文，激发创造
  • 面部动作单元检测深度模型的快速有效适应

    本文介绍了一个基于深度学习和元学习的人脸动作单元检测方法，可以在处理新的任务（新的单元或主体）时快速地适应，并在 BP4D 和 DISFA 数据集上通过测试，证明使用少量标记样本即可实现模型的适应。

    Sep, 2019

  • 使用注意力和关系学习进行面部动作单元检测

    本文提出了一种基于深度学习的端到端注意力关系学习框架，用于面部动作单元（AU）检测。通过自适应地学习通道和空间注意力以选择和提取与 AU 相关的局部特征，并进一步捕获 AU 的像素级关系以提炼更多相关的局部特征，该方法在 AU 检测和强度估计方面均优于目前最先进的方法，并能在严重的遮挡和大姿态下工作。

    Aug, 2018

  • 多标签面部动作单元检测的时空线索建模

    提出了一种基于混合网络体系结构的面部动作单元检测方法，可同时处理面部表情解码中的三个问题：空间表示，时间建模和 AU 相关性。

    Aug, 2016

  • 面部行动单元检测的全局到局部表情感知嵌入

    本文提出了一种用于促进 AU 检测的新型细粒度全局表情表示编码器以及设计了用于为每个 AU 生成本地面部特征的本地 AU 特征模块。实验结果表明，我们的方法优于现有方法并在 BP4D、DISFA 和 BP4D + 等广泛使用的面部数据集上实现了最先进的性能。

    Oct, 2022

  • 面部动作单元识别的深层结构推理网络

    本文提出了一种基于深度神经网络的面部表情识别算法，通过学习局部和全局特征，以及类似于图推理方法的消息传递算法，显著提高了在 BP4D 和 DISFA 数据集上的表现。

    Mar, 2018

  • 学习对比特征表示用于面部动作单元检测

    通过引入一种增强的对比学习框架并结合监督和自监督信号，以获取具有区分性的特征，本研究通过样本采样、重加权策略以及损失函数 AUNCE 等方法，针对面部运动单元（AU）检测中困扰的像素级学习问题、标签噪音和 AU 类型不平衡等挑战，取得了优于最先进方法的优秀性能。

    Feb, 2024

  • 自监督表示下的面部动作单元检测和强度估计

    本研究介绍了一种使用自监督学习方法的面部表情识别模型 MAE-Face，该模型在只 Fine-tune 1% 的数据集的情况下也可以取得较好的 AU 检测和 AU 强度估计结果.

    Oct, 2022

  • 利用合成数据进行通用且公平的面部行为单元检测

    通过使用合成数据和多源领域自适应方法解决已标记数据稀缺和性别多样性问题，本文提出了一种基于面部表情再目标化方法的面部动作单元检测模型，并采用配对矩匹配方法来提高性别平等性，实现实现在真实环境中的面部动作单元检测。

    Mar, 2024

  • 多尺度推进的自适应相关学习用于面部动作单元检测

    提出了一种自适应 AU 相关性学习方法，通过在网络的不同阶段高效利用不同级别的 AU 运动和情感表示信息，自适应地学习和更新 AU 相关图，并结合多尺度特征学习方法，实现更强大的面部行动单元检测表现。

    Aug, 2023

  • 3D 面部动作单元的有条件对抗合成

    本文提出了一种基于 3D 形态模型的面部图像综合框架，可以通过给定目标 AU 标签生成生成新的表情参数和面部图像来增强面部表情识别数据，并在基准 DISFA 数据集上表现出良好的增强效果和 AU 强度估计性能。

    Feb, 2018