EmotiW 2018: 音视频、学生参与和小组层面情感预测
本研究在 EmotiW Challenge 2023 中探索了符合隐私规范的野外群体情绪识别。提出的多模态模型通过视频和音频分支以及跨模态注意力实现,使用全局特征而避免使用个体特征,仅依靠分布在视频中的 5 个均匀帧即可达到相当高的准确率。
Dec, 2023
通过调查音频和视觉深度学习方法,为非控制环境中的情绪识别问题提供有效的体系结构。使用基于微调的卷积神经网络(CNN)和公共维度情绪模型(PDEM)进行视频和音频模态的比较,并使用这些多阶段训练的模态特定的深度神经网络(DNN)的嵌入来比较替代的时间建模和融合策略。在 ABAW'24 挑战协议下,对 AffWild2 数据集进行了结果报告。
Mar, 2024
本研究使用深度学习技术,以多模态方式,使用面部检测、音频流等模态,探索影片情感识别模型,成果在 2013 年的 EmotiW 挑战中成为获胜者,并在 2014 年的数据集上实现了约 47.67% 的准确率。
Mar, 2015
这篇文章介绍了 “音频 / 视觉情感挑战和研讨会(AVEC 2016)” 的比赛指南,使用的数据和基线系统在情感分析任务方面的表现,该比赛旨在比较多媒体处理和机器学习方法的自动音频、视觉和生理抑郁症和情绪分析,并为多模态信息处理提供一个公共基准测试集。
May, 2016
ACM Multimedia 2023 Computational Paralinguistics Challenge 中,Emotion Share Sub-Challenge 需要进行语音回归分析,Requests Sub-Challenges 需要检测请求和投诉。研究中介绍了 Sub-Challenges、基线特征提取和基于 ComPaRE 特征、auDeep 工具包和使用预训练 CNN 的深度特征提取的分类器;此外,还使用了 wav2vec2 模型。
Apr, 2023
本文介绍了于 CVPR 2023 会议举办的第五届 Affective Behavior Analysis in-the-wild (ABAW) Competition,其中包括四个挑战,使用了两个数据集,分别是 Aff-Wild2 database 和 Hume-Reaction dataset,这些挑战包括单任务的情感估计、表情分类、动作单位检测和情绪反应强度估计。
Mar, 2023
本文介绍了一种基于视觉信号的深度神经网络自动识别情感的方法,提出了适用于情感识别算法训练和评估的 Aff-Wild Benchmark,以及使用这一数据库 achieving best performances both for dimensional, as well as categorical emotion recognition,成为情感识别领域的最好表现之一。
Apr, 2018
本文介绍了第六届野外情感行为分析 (Affect Behavior Analysis in-the-wild, ABAW) 竞赛,该竞赛是 IEEE CVPR 2024 大会举办的研讨会的一部分。该竞赛致力于理解人类情感和行为等当代挑战,对人类中心技术的发展至关重要。具体来说,竞赛关注情感相关的基准任务,包括估计两个连续情感维度(情感价值和唤醒度)、识别七种基本表情和其他表情、检测 12 个动作单元、识别七种互斥复合表情以及估计六个连续情感维度的情感模仿强度。本文介绍了这些挑战,描述了相应的数据集和挑战协议(包括评估指标),并呈现了基准系统及其表现结果。竞赛的更多信息可在 https://affective-behavior-analysis-in-the-wild.github.io/6th 上找到。
Feb, 2024
这篇文章介绍了 Aff-Wild2 这一大型野外数据库,以进行情感识别,通过 CNN 和 CNN-RNN 架构的视觉和音频模型,实现了情感识别任务的最先进性能,并使用 ArcFace 损失函数训练各种新的网络,并取得较与现有技术相比,更好的效果
Sep, 2019