人脸动作单元检测的个体无关对比学习
通过引入一种增强的对比学习框架并结合监督和自监督信号,以获取具有区分性的特征,本研究通过样本采样、重加权策略以及损失函数 AUNCE 等方法,针对面部运动单元(AU)检测中困扰的像素级学习问题、标签噪音和 AU 类型不平衡等挑战,取得了优于最先进方法的优秀性能。
Feb, 2024
本文提出了一种基于自监督学习方法的区域和时序辅助任务学习框架(RTATL),通过考虑面部动作单元(AU)的属性,设计了 RoI 修复和基于单张图像的光流估计两个辅助任务,以更好地捕捉 AU 的局部特征、相互关系和运动线索,并在 BP4D 和 DISFA 数据集上进行了广泛的实验,在 AU 识别方面取得了最新的最优性能。
Jul, 2021
提出了一种新的 AU 检测框架,其中引入了多任务学习,通过共享同构面部提取模块的参数来共同学习 AU 领域分离和重建以及面部标志检测。此外,提出了一种基于对比学习和改进的对比损失的新特征对齐方案,通过添加四个中间监督器来促进特征重建过程。在两个基准测试上的实验结果表明,对于野外 AU 检测,我们优于现有的方法。
Oct, 2023
本文提出了一种因果推理框架,用于主体不变的面部动作单元(AU)识别,通过结构因果模型表达面部图像、主体、潜在 AU 语义关系和估计的 AU 出现概率之间的因果关系,采用插件因果干预模块(CIS)插入因果图,以消除干扰因素 Subject,实验结果表明 CISNet 可以达到最先进的性能水平。
Apr, 2022
本文提出了一种基于深度学习的端到端注意力关系学习框架,用于面部动作单元(AU)检测。通过自适应地学习通道和空间注意力以选择和提取与 AU 相关的局部特征,并进一步捕获 AU 的像素级关系以提炼更多相关的局部特征,该方法在 AU 检测和强度估计方面均优于目前最先进的方法,并能在严重的遮挡和大姿态下工作。
Aug, 2018
提出了一种自适应 AU 相关性学习方法,通过在网络的不同阶段高效利用不同级别的 AU 运动和情感表示信息,自适应地学习和更新 AU 相关图,并结合多尺度特征学习方法,实现更强大的面部行动单元检测表现。
Aug, 2023
本研究提出了一种基于空间 - 时间关系和注意力机制的面部动作单元检测框架,其中使用了空间 - 时间图卷积网络来捕捉动态面部动作单元的空间和时间关系,并使用自适应学习的边界权重来形成关系图。此外,为了学习 AU 之间的时空关系,我们提出了一种注意力机制,以自适应地学习区域注意力,并通过抑制不相关区域来提取每个 AU 的完整特征。实验结果显示,我们的方法在 BP4D 和 DISFA 基准测试中实现了显著的改进。
Jan, 2020
本研究探讨如何通过使用对特定任务相关的特征来缓解机器学习模型中可能存在的受保护属性偏差,通过基于面部动作单元的正匹配对比损失学习样本之间的距离,该方法在面部表情识别系统中表现出更佳的公平性。
Mar, 2023
本文介绍了一个基于深度学习和元学习的人脸动作单元检测方法,可以在处理新的任务(新的单元或主体)时快速地适应,并在 BP4D 和 DISFA 数据集上通过测试,证明使用少量标记样本即可实现模型的适应。
Sep, 2019