IJCAIMay, 2022

基于多维边缘特征的面部表情动作单元关系图学习

PDF
TL;DR本文提出了一种基于深度学习的 AU 关系建模方法，通过学习多维边特征与节点特征来描述面部表情不同组合之间的关系特征，从而实现更准确的 AU 识别。我们在 BP4D 和 DISFA 数据集上的实验结果表明，我们的方法不仅在各项识别指标上取得最优结果，而且可以轻松嵌入到不同的模型中。
facial action unitsau relationship modellingdeep learninggraph representationau recognition
发现论文，激发创造
  • 基于图卷积网络的面部动作单元检测关系建模

    本文提出了一种基于端到端深度学习框架进行面部 AU 检测的方法，使用图卷积网络（GCN）进行 AU 关系建模，通过解码器学习 AU 信息，再将每个隐层表示向量作为 GCN 的节点，最后将 GCN 更新的特征组合起来进行 AU 检测，实验证明该方法优于现有面部 AU 检测方法。

    Oct, 2019

  • 基于注意力关系网络的面部动作单元识别

    本文提出了一种基于注意力机制的关系网络（ABRNet），该网络可以自动捕获不同 AU 之间的关系，使用自我注意力融合模块来提高特征的稳健性，并提出了 AU 关系丢失策略和 AU 关系损失来进一步改善 AU 识别。实验证明，该方法在 DISFA 和 DISFA+ 数据集上实现了最先进的性能。

    Oct, 2022

  • 多尺度动态和分层关系建模用于面部运动单元识别

    本文提出了一种综合模型多尺度面部动作单元相关的动态和分层时空关系，以实现面部动作单元的发生识别。实验结果表明，该方法在面部动作单元发生识别领域具有新的最先进水平。

    Apr, 2024

  • 面部动作单元识别的语义关系引导表示学习

    本研究提出了基于知识图谱的面部动作单位识别建模框架，采用深层神经网络框架结合全局图神经网络进行语义关系传播，旨在增强面部区域特征提取提高面部表情识别性能，实验表明该方法在面部动作单位识别上取得了最佳表现。

    Apr, 2019

  • 使用注意力和关系学习进行面部动作单元检测

    本文提出了一种基于深度学习的端到端注意力关系学习框架，用于面部动作单元（AU）检测。通过自适应地学习通道和空间注意力以选择和提取与 AU 相关的局部特征，并进一步捕获 AU 的像素级关系以提炼更多相关的局部特征，该方法在 AU 检测和强度估计方面均优于目前最先进的方法，并能在严重的遮挡和大姿态下工作。

    Aug, 2018

  • 面部动作单元识别的深层结构推理网络

    本文提出了一种基于深度神经网络的面部表情识别算法，通过学习局部和全局特征，以及类似于图推理方法的消息传递算法，显著提高了在 BP4D 和 DISFA 数据集上的表现。

    Mar, 2018

  • 面部动作单元检测的时空关系和注意力学习

    本研究提出了一种基于空间 - 时间关系和注意力机制的面部动作单元检测框架，其中使用了空间 - 时间图卷积网络来捕捉动态面部动作单元的空间和时间关系，并使用自适应学习的边界权重来形成关系图。此外，为了学习 AU 之间的时空关系，我们提出了一种注意力机制，以自适应地学习区域注意力，并通过抑制不相关区域来提取每个 AU 的完整特征。实验结果显示，我们的方法在 BP4D 和 DISFA 基准测试中实现了显著的改进。

    Jan, 2020

  • 面部行动单元检测的全局到局部表情感知嵌入

    本文提出了一种用于促进 AU 检测的新型细粒度全局表情表示编码器以及设计了用于为每个 AU 生成本地面部特征的本地 AU 特征模块。实验结果表明，我们的方法优于现有方法并在 BP4D、DISFA 和 BP4D + 等广泛使用的面部数据集上实现了最先进的性能。

    Oct, 2022

  • 多标签面部动作单元检测的时空线索建模

    提出了一种基于混合网络体系结构的面部动作单元检测方法，可同时处理面部表情解码中的三个问题：空间表示，时间建模和 AU 相关性。

    Aug, 2016

  • 多尺度推进的自适应相关学习用于面部动作单元检测

    提出了一种自适应 AU 相关性学习方法，通过在网络的不同阶段高效利用不同级别的 AU 运动和情感表示信息，自适应地学习和更新 AU 相关图，并结合多尺度特征学习方法，实现更强大的面部行动单元检测表现。

    Aug, 2023