一种用于半监督面部情感行为分析的多任务平均教师
本文中,我们使用数据平衡技术处理高度不平衡的实验数据,并提出了一种多任务模型的算法,通过使用软标签和真实标签来训练模型,解决了数据不全的问题,最终通过模型集成显著提高了面部动作单元检测、表情分类和情感估计的表现。
Feb, 2020
这项研究在情感计算领域进行,旨在提高情绪识别领域多任务学习的效率和效果。研究探索了单任务解决方案和多任务方法,并通过修改输出层和损失函数,利用现有的神经网络架构进行多任务学习,研究结果对于情感计算领域具有潜在的应用价值。
Jun, 2024
本文介绍我们在第四届野外情感行为分析竞赛中提交的方法,将提供的面部和面部周围背景的完整信息用于多任务学习挑战,使用 InceptionNet V3 模型提取深度特征,从而得出对情绪的分类和评估
Jul, 2022
面部情感行为分析对于从图像中理解人类的心理状态至关重要。我们引入了面向两个 FABA 任务的指示遵循数据集,一种同时考虑识别和生成能力的基准 FABA-Bench 以及一个新的 MLLM “EmoLA”。我们通过数据集和基准的实验揭示了面部情感行为的本质和原理,加入面部先验专家模块和低秩适应模块,能够提高性能。EmoLA 在我们的 FABA-Bench 上取得最好的结果,在常用的 FABA 数据集上与任务特定的最先进模型竞争力强。
Apr, 2024
本文提出了一种多教师 - 单学生 (MTSS) 方法,通过使用标签嵌入技术,可以学习任务特定的领域专家,并通过迫使模型模仿领域专家所学习的分布方法,学习图像表示的有效方法,从而实现了对视觉属性预测问题的半监督学习。实验结果表明,该方法不仅在时尚属性预测的各种基准测试上取得了竞争性的性能,还提高了不可见领域的鲁棒性和跨域适应性。
Jul, 2020
本文提出一种利用视觉和音频信息的多模态和多任务学习方法来分析人类情感,使用 AU 和表情标注训练模型并应用序列模型提取视频帧之间的关联,实现了 0.712 的 AU 分数和 0.477 的表情分数,证明了该方法在提高模型性能方面的有效性。
Jul, 2021
通过利用各种数据集和方法设计,我们可以在自然环境中全面评估情感行为分析技术的真实性和适用性,从而实现情感智能技术,使设备能像人类一样理解和反应我们的情感。
Mar, 2024
本篇论文主要探究了利用多任务学习技术,在静态照片上进行面部表情、愉悦度和唤起度的识别。在使用合成数据学习的挑战中,MT-EmotiEffNet 模型的学习效果得到了显著提高,同时在预训练集和微调集上进行的预测结果也取得了优异表现。
Jul, 2022
我们提出了一种半监督学习技术来生成未标记面部数据的表情类别伪标签以解决有限 FER 数据集的泛化能力问题,并采用均匀抽样和去偏反馈学习策略来应对数据集中的类别不平衡问题和半监督学习中的数据偏差问题。此外,引入了时间编码器来学习和捕捉静态图像之间的临近表情特征的时间关系,并在第 6 届 ABAW 竞赛中在官方验证集上取得了优秀的成绩,充分证实了我们提出方法的有效性和竞争力。
Mar, 2024