Py-Feat: Python面部表情分析工具箱
本文综述了关于自动RGB,3D,热成像和多模式面部表情分析的研究,定义了新的分类法并描述和分类了最先进的方法,同时呈现了重要数据集和基准测试。作者对当前的趋势、重要问题和未来研究方向进行了总结讨论。
Jun, 2016
本文介绍了 EmotioNet 挑战的方法和结果,其中第一项挑战测试了当前计算机视觉算法在自动检测表情动作单元(AU)方面的能力,第二项挑战测试了算法在面部表情图像的情感分类方面的能力,研究表明当前机器学习算法在这两个任务中无法可靠地解决问题,计算机视觉算法在检测动作单元时的效果比检测情感分类时的效果要好。
Mar, 2017
该研究收集并准备公开发布了一个名为AffectNet的数据库,包含100多万张网络图片,其中大约半数手动注释了7种离散面部表情和不同情绪模型的愉悦和唤起度强度,并使用两个深度神经网络对分类模型的图像进行分类和预测情感的愉悦和唤起度强度。
Aug, 2017
该研究提出了一种描述表情强度随时间变化的特征,该特征对人和表情类型不变,可用于多个面部表情分析任务,包括3D面部表情的时间对齐、个体间表情绩效差异的识别和基于行为单元标签的面部视频序列的本地变化识别,并表现出对噪音和异常值具有鲁棒性。
May, 2018
该论文介绍了FaceBehaviorNet这个多任务深度学习框架,并利用5M张公共数据集,成功地将自然环境中的人脸行为分析的三个识别任务(特征表情识别、连续情感估计和面部动作单元检测)结合了起来,同时提出了两种有效的联合学习策略,对大量无标注数据的少样本学习场景也具有良好的泛化能力。
Oct, 2019
本研究提出了一种基于深度学习和面部视频数据的情感检测方法,使用Convolutional Neural Network训练一个能够估计三维表情模型参数的模型,并结合情感分类器,能够高效准确地从动态图像中识别面部表情,且在基本情感和压力情感的识别任务中超过了其他方法。
May, 2020
本文提出了 Continual Facial Expression Recognition(ConFER)基准测试,评估了不同的 Continual Learning(CL)方法在面部表情识别任务中的性能,表明 CL 技术在不同的学习设置下能够实现多个数据集上的最先进的性能,因此促进了关于将 CL 原则应用于人类面部表情的行为理解中的益处和挑战的讨论。
May, 2023
本文针对面部表情识别(FER)在泛化能力和语义信息对齐方面的不足,提出了一种新颖的多模态大型语言模型EMO-LLaMA。通过使用预训练的面部分析网络和设计面部信息挖掘模块,实验表明EMO-LLaMA在静态和动态FER数据集上均达到与现有最先进方法相媲美的性能。
Aug, 2024
该研究针对现有面部行为分析工具的不足,提出了一个综合性的开源工具包Behavior4All,集成了面部定位、情感估计、基本表情识别和动作单元检测。研究结果表明,该工具在性能和公平性方面优于当前最先进的工具,且在未见数据库上的表现更具一般化能力,对复合表情的识别速度显著提高。
Sep, 2024