Mar, 2020

J (A) A-Net: 适应性注意力联合检测面部动作单元与面部对齐

PDF
TL;DR本文提出了一种用于联合面部动作单元检测和面部对齐的深度学习框架，通过学习多尺度共享特征，将面部对齐特征和全局特征与调整后的局部特征相结合，采用自适应注意力学习模块来调整 AU 的注意力图，实现了更好的 AU 检测表现，可适应不规则的 AU 区域，有望在面部识别领域有更广泛的应用。
facial action unitface alignmentdeep learningattention learningfeature integration
发现论文，激发创造
  • 深度自适应关注：面部动作单元检测和人脸对齐

    本文提出了一种新颖的端到端深度学习框架以实现联合的面部动作单元检测和面部对齐任务，并通过在本地和全局特征中添加关注学习模块以提取精确的局部特征，在 BP4D 和 DISFA 基准测试上取得了显著的性能优势。

    Mar, 2018

  • 使用注意力和关系学习进行面部动作单元检测

    本文提出了一种基于深度学习的端到端注意力关系学习框架，用于面部动作单元（AU）检测。通过自适应地学习通道和空间注意力以选择和提取与 AU 相关的局部特征，并进一步捕获 AU 的像素级关系以提炼更多相关的局部特征，该方法在 AU 检测和强度估计方面均优于目前最先进的方法，并能在严重的遮挡和大姿态下工作。

    Aug, 2018

  • 通过联合学习面部关键点检测和领域分离与重构来提升面部动作单位检测

    提出了一种新的 AU 检测框架，其中引入了多任务学习，通过共享同构面部提取模块的参数来共同学习 AU 领域分离和重建以及面部标志检测。此外，提出了一种基于对比学习和改进的对比损失的新特征对齐方案，通过添加四个中间监督器来促进特征重建过程。在两个基准测试上的实验结果表明，对于野外 AU 检测，我们优于现有的方法。

    Oct, 2023

  • 面部动作单元检测的时空关系和注意力学习

    本研究提出了一种基于空间 - 时间关系和注意力机制的面部动作单元检测框架，其中使用了空间 - 时间图卷积网络来捕捉动态面部动作单元的空间和时间关系，并使用自适应学习的边界权重来形成关系图。此外，为了学习 AU 之间的时空关系，我们提出了一种注意力机制，以自适应地学习区域注意力，并通过抑制不相关区域来提取每个 AU 的完整特征。实验结果显示，我们的方法在 BP4D 和 DISFA 基准测试中实现了显著的改进。

    Jan, 2020

  • 面部动作单元识别的深层结构推理网络

    本文提出了一种基于深度神经网络的面部表情识别算法，通过学习局部和全局特征，以及类似于图推理方法的消息传递算法，显著提高了在 BP4D 和 DISFA 数据集上的表现。

    Mar, 2018

  • 区域适应、多标签学习和最优时序融合的动作部位检测

    提出一种深度学习框架来解决面部分析中动作单元检测中不同面部区域的对齐问题、时间信息的有效融合问题、以及多标签模型的训练问题，该方法结合了 ROI 适应性、多标签学习和基于 LSTM 的时间融合，评估结果表明，相较于现有技术在 BP4D 和 DISFA 数据集上，该方法平均提高 13％和 25％的检测准确率，取得了显著的性能提升。

    Apr, 2017

  • 面部动作单元检测深度模型的快速有效适应

    本文介绍了一个基于深度学习和元学习的人脸动作单元检测方法，可以在处理新的任务（新的单元或主体）时快速地适应，并在 BP4D 和 DISFA 数据集上通过测试，证明使用少量标记样本即可实现模型的适应。

    Sep, 2019

  • 基于注意力关系网络的面部动作单元识别

    本文提出了一种基于注意力机制的关系网络（ABRNet），该网络可以自动捕获不同 AU 之间的关系，使用自我注意力融合模块来提高特征的稳健性，并提出了 AU 关系丢失策略和 AU 关系损失来进一步改善 AU 识别。实验证明，该方法在 DISFA 和 DISFA+ 数据集上实现了最先进的性能。

    Oct, 2022

  • 面部动作单元自监督区域和时间辅助任务识别

    本文提出了一种基于自监督学习方法的区域和时序辅助任务学习框架（RTATL），通过考虑面部动作单元（AU）的属性，设计了 RoI 修复和基于单张图像的光流估计两个辅助任务，以更好地捕捉 AU 的局部特征、相互关系和运动线索，并在 BP4D 和 DISFA 数据集上进行了广泛的实验，在 AU 识别方面取得了最新的最优性能。

    Jul, 2021

  • 多尺度推进的自适应相关学习用于面部动作单元检测

    提出了一种自适应 AU 相关性学习方法，通过在网络的不同阶段高效利用不同级别的 AU 运动和情感表示信息，自适应地学习和更新 AU 相关图，并结合多尺度特征学习方法，实现更强大的面部行动单元检测表现。

    Aug, 2023