- CVPR多尺度动态和分层关系建模用于面部运动单元识别
本文提出了一种综合模型多尺度面部动作单元相关的动态和分层时空关系,以实现面部动作单元的发生识别。实验结果表明,该方法在面部动作单元发生识别领域具有新的最先进水平。
- AUFormer:视觉 Transformer 是参数高效的面部动作单元检测器
基于面部动作单元(AU)的参数高效迁移学习方法,引入 AUFormer 和 MoKE 协同机制,以实现参数高效的 AU 检测,并设计了一种 MDWA-Loss 以更好地关注激活的 AU、区分未激活 AU 的难度并排除潜在标签错误样本。实验证 - 在重症监护室中检测视觉线索及其与患者临床状况的关联
通过分析面部行为单元和视觉线索,利用人工智能技术提供更客观、细粒度的重症监护环境中患者的评估和监测能力。
- FG-Net:具有通用金字塔特征的面部动作单位检测
通过使用预训练的生成模型提取可泛化和语义丰富的特征,在 AU 检测中取得了强大的泛化能力。在广泛使用的 DISFA 和 BP4D 数据集上进行了大量实验,与现有方法相比,所提出的方法在跨领域性能上达到了优越水平,并保持了在同领域性能上的竞争 - IJCAI基于多维边缘特征的面部表情动作单元关系图学习
本文提出了一种基于深度学习的 AU 关系建模方法,通过学习多维边特征与节点特征来描述面部表情不同组合之间的关系特征,从而实现更准确的 AU 识别。我们在 BP4D 和 DISFA 数据集上的实验结果表明,我们的方法不仅在各项识别指标上取得最 - 在上下文嵌入中加入面部表情以用于手语生成
通过增加面部表情来增强手语的语义表示,本研究针对手语生成框架的表现和自然度不足的问题进行了探讨,提出使用双编码转换器来生成手势和面部表情,首次在手语生成中使用面部动作单元,实验证明改进了自动生成手语的质量。
- ICML利用联合面部动作单元数据集进行缺失值多标签学习
本文介绍使用多个数据集共同训练机器学习模型来检测人脸情绪,并探讨数据注释和缺失标签对模型训练的影响。最终提出了一种在缺失标签下正确训练的算法,并且相比于其他情绪识别比赛有着不错的表现。
- AAAI基于动态图卷积和语义对应学习的面部表情动作单元强度估计
本论文提出了一种新的学习框架,通过建立特征映射之间的语义对应关系自动学习 AU 之间的潜在联系,从而实现面部动作单元的强度估计,其中语义对应卷积模块(SCC 模块)可以提高特征的可辨识性,并且在两个基准数据集上展现了显著的性能优越性。
- 面部动作单元检测的时空关系和注意力学习
本研究提出了一种基于空间 - 时间关系和注意力机制的面部动作单元检测框架,其中使用了空间 - 时间图卷积网络来捕捉动态面部动作单元的空间和时间关系,并使用自适应学习的边界权重来形成关系图。此外,为了学习 AU 之间的时空关系,我们提出了一种 - 半监督面部动作单元多标签共规则化识别
本文提出了一种基于深度神经网络、半监督学习和图卷积网络的面部动作单元识别方法,可以通过较少的有注释 AU 信息的面部数据和大量的没有注释 AU 信息的网络图像数据共同训练提高 AU 识别的准确性。
- 一张网络里的表情、情感和动作单元:面部行为随心定制
该论文介绍了 FaceBehaviorNet 这个多任务深度学习框架,并利用 5M 张公共数据集,成功地将自然环境中的人脸行为分析的三个识别任务(特征表情识别、连续情感估计和面部动作单元检测)结合了起来,同时提出了两种有效的联合学习策略,对 - IJCAI面部动作单元检测深度模型的快速有效适应
本文介绍了一个基于深度学习和元学习的人脸动作单元检测方法,可以在处理新的任务(新的单元或主体)时快速地适应,并在 BP4D 和 DISFA 数据集上通过测试,证明使用少量标记样本即可实现模型的适应。
- 使用逼真面部的视频合成人体上半身
本文提出了一种基于生成对抗学习的人体上半身视频合成方法,利用上半身关键点、面部动作单元和姿势作为中间表示来实现源视频和目标视频之间的映射,实验结果表明我们的方法非常有效。
- 面部表情识别的区域注意力网络:针对姿态和遮挡的鲁棒性
该论文提出了一种基于面部区域注意力网络(RAN)和面部动作单元定义的区域偏差损失,解决面部表情识别中的遮挡和姿态变化问题,并在多个数据集上验证其实验效果。
- SEWA DB:一份用于情感与情绪生动研究的丰富音视频数据库
SEWA 数据库提供了超过 2000 分钟的语音和视觉数据,包括来自六种文化、年龄在 18 至 65 岁之间的 398 人。此外,数据库还提供了基于面部和语音特征的多项标注,如面部标记、面部行动单元(FAU)、各种音频反应等等。这是情感计算 - 卷积神经网络面部动作单位识别中的滤波器尺寸优化
本文提出了一种基于优化卷积核尺寸的 CNN 模型,在训练过程中通过连续变量优化卷积核尺寸,避免了传统方法中昂贵的训练成本,并在 AU-coded spontaneous databases 实验中证明其能够同时适应不同分辨率下的图像,相对于 - NIPS面部动作单位识别的渐进增强卷积神经网络
本研究提出了一种新颖的增量增强 CNN(IB-CNN),使其通过增量增强层将增强集成到 CNN 中,并选择下层的识别性神经元,在连续的小批量中进行增量更新。此外,还提出了一种新的损失函数,考虑了来自增量增强分类器和单个弱分类器的误差,以微调 - 多标签面部动作单元检测的时空线索建模
提出了一种基于混合网络体系结构的面部动作单元检测方法,可同时处理面部表情解码中的三个问题:空间表示,时间建模和 AU 相关性。
- ICCV深度神经网络在表情识别中是否学习到面部动作单元?
在面部表情数据上使用零偏差卷积神经网络,作者在扩展的 Cohn-Kanade 和多伦多人脸数据集上取得了领先水平的性能,并使用空间模式可视化的方法解释了这些卷积神经网络是如何进行表情识别并关联面部动作元素的。