Wen-Sheng Chu, Fernando De la Torre, Jeffrey F. Cohn
TL;DR提出了一种基于混合网络体系结构的面部动作单元检测方法,可同时处理面部表情解码中的三个问题:空间表示,时间建模和 AU 相关性。
Abstract
facial action units (AUs) are essential to decode human facial expressions.
Researchers have focused on training au detectors with a variety of features
and classifiers. However, several issues remain. These are
本文提出了一种基于深度学习的端到端注意力关系学习框架,用于面部动作单元(AU)检测。通过自适应地学习通道和空间注意力以选择和提取与 AU 相关的局部特征,并进一步捕获 AU 的像素级关系以提炼更多相关的局部特征,该方法在 AU 检测和强度估计方面均优于目前最先进的方法,并能在严重的遮挡和大姿态下工作。
本文提出了一种基于自监督学习方法的区域和时序辅助任务学习框架(RTATL),通过考虑面部动作单元(AU)的属性,设计了 RoI 修复和基于单张图像的光流估计两个辅助任务,以更好地捕捉 AU 的局部特征、相互关系和运动线索,并在 BP4D 和 DISFA 数据集上进行了广泛的实验,在 AU 识别方面取得了最新的最优性能。