Mar, 2024
具有 CLIP 的鲁棒轻量级面部情感行为识别
Robust Light-Weight Facial Affective Behavior Recognition with CLIP
Li Lin, Sarah Papabathini, Xin Wang, Shu Hu
TL;DR人类情感行为分析的研究旨在深入了解人类情绪,其中表情分类、动作单位是其两个主要组成部分。本研究提出了一种轻量级框架,可以高效地处理表情分类和动作单位检测,通过采用冻结的 CLIP 图像编码器和可训练的多层感知机(MLP),以 CVaR 提升稳健性,并采用损失函数平滑策略来改进泛化性能,在 Aff-wild2 数据集上得到了优越的性能表现,同时保持了最小的计算需求,提供了一种实用的情感行为分析解决方案。