深度自适应关注:面部动作单元检测和人脸对齐
本文提出了一种用于联合面部动作单元检测和面部对齐的深度学习框架,通过学习多尺度共享特征,将面部对齐特征和全局特征与调整后的局部特征相结合,采用自适应注意力学习模块来调整 AU 的注意力图,实现了更好的 AU 检测表现,可适应不规则的 AU 区域,有望在面部识别领域有更广泛的应用。
Mar, 2020
本文提出了一种基于深度学习的端到端注意力关系学习框架,用于面部动作单元(AU)检测。通过自适应地学习通道和空间注意力以选择和提取与 AU 相关的局部特征,并进一步捕获 AU 的像素级关系以提炼更多相关的局部特征,该方法在 AU 检测和强度估计方面均优于目前最先进的方法,并能在严重的遮挡和大姿态下工作。
Aug, 2018
提出了一种新的 AU 检测框架,其中引入了多任务学习,通过共享同构面部提取模块的参数来共同学习 AU 领域分离和重建以及面部标志检测。此外,提出了一种基于对比学习和改进的对比损失的新特征对齐方案,通过添加四个中间监督器来促进特征重建过程。在两个基准测试上的实验结果表明,对于野外 AU 检测,我们优于现有的方法。
Oct, 2023
本文提出了一种基于深度神经网络的面部表情识别算法,通过学习局部和全局特征,以及类似于图推理方法的消息传递算法,显著提高了在 BP4D 和 DISFA 数据集上的表现。
Mar, 2018
本文介绍了一个基于深度学习和元学习的人脸动作单元检测方法,可以在处理新的任务(新的单元或主体)时快速地适应,并在 BP4D 和 DISFA 数据集上通过测试,证明使用少量标记样本即可实现模型的适应。
Sep, 2019
本研究提出了一种基于空间 - 时间关系和注意力机制的面部动作单元检测框架,其中使用了空间 - 时间图卷积网络来捕捉动态面部动作单元的空间和时间关系,并使用自适应学习的边界权重来形成关系图。此外,为了学习 AU 之间的时空关系,我们提出了一种注意力机制,以自适应地学习区域注意力,并通过抑制不相关区域来提取每个 AU 的完整特征。实验结果显示,我们的方法在 BP4D 和 DISFA 基准测试中实现了显著的改进。
Jan, 2020
提出了一种自适应 AU 相关性学习方法,通过在网络的不同阶段高效利用不同级别的 AU 运动和情感表示信息,自适应地学习和更新 AU 相关图,并结合多尺度特征学习方法,实现更强大的面部行动单元检测表现。
Aug, 2023
提出一种深度学习框架来解决面部分析中动作单元检测中不同面部区域的对齐问题、时间信息的有效融合问题、以及多标签模型的训练问题,该方法结合了 ROI 适应性、多标签学习和基于 LSTM 的时间融合,评估结果表明,相较于现有技术在 BP4D 和 DISFA 数据集上,该方法平均提高 13%和 25%的检测准确率,取得了显著的性能提升。
Apr, 2017
本文提出了一种基于自监督学习方法的区域和时序辅助任务学习框架(RTATL),通过考虑面部动作单元(AU)的属性,设计了 RoI 修复和基于单张图像的光流估计两个辅助任务,以更好地捕捉 AU 的局部特征、相互关系和运动线索,并在 BP4D 和 DISFA 数据集上进行了广泛的实验,在 AU 识别方面取得了最新的最优性能。
Jul, 2021
通过引入一种增强的对比学习框架并结合监督和自监督信号,以获取具有区分性的特征,本研究通过样本采样、重加权策略以及损失函数 AUNCE 等方法,针对面部运动单元(AU)检测中困扰的像素级学习问题、标签噪音和 AU 类型不平衡等挑战,取得了优于最先进方法的优秀性能。
Feb, 2024