AVCAffe:面向远程办公的大规模认知负荷和情感的音视频数据集
本文综合评估了用于大规模异构多媒体数据的情感计算(AC)技术,包括心理学中广泛采用的典型情绪表示模型和基于手工特征和深度学习方法的代表性方法,并总结了现有算法的可用数据集。最终,我们讨论了多媒体情感计算的一些挑战和未来方向。
Oct, 2019
本文介绍了 AVEC 2019 的挑战目标,包括情感的识别以及跨文化的影响认知,使用多模态数据完成对于健康和情感方面的自动识别,评估基于机器学习方法的表现,并提供一个共同的基准测试集。
Jul, 2019
我们提供了一个新颖的多模态 Cognitive Load Assessment 实时数据集 (CLARE),其中包含来自 24 名参与者的生理和注视数据,并以自我报告的认知负荷评分作为基准标签。数据集包括四种模态,分别是心电图 (ECG)、皮肤电活动 (EDA)、脑电图 (EEG) 和注视跟踪。我们还对两种不同的评估方案,即 10 折交叉验证和留一法交叉验证 (LOSO),使用机器学习和深度学习模型提供了基准二分类结果。基准结果表明,在 10 折交叉验证中,基于卷积神经网络 (CNN) 的深度学习模型在 ECG、EDA 和注视跟踪上实现了最佳的分类性能;而在 LOSO 中,基于 ECG、EDA 和脑电图 (EEG) 的深度学习模型表现最佳。
Apr, 2024
我们引入情感视觉对话,这是一个情感解释和推理任务,作为研究在视觉对话中理解情感形成的测试基准。该任务涉及三个技能:(1)基于对话的问答(2)基于对话的情感预测和(3)基于对话的情感解释生成。我们的主要贡献是收集了一个大规模的数据集,称为 AffectVisDial,包含 50,000 个 10 轮的视觉对话,以及结论性的情感归因和基于对话的情感解释,总计达 27,180 个工作小时。我们解释了在收集数据集时的设计决策,并介绍了与对话参与者相关的提问者和回答者任务。我们训练并展示了基于最先进模型的坚实的情感视觉对话基准。值得注意的是,我们的模型生成的回答显示了对视觉对话中情感推理能力有希望的结果。我们的项目页面可在此 https URL 找到。
Aug, 2023
该研究收集并准备公开发布了一个名为 AffectNet 的数据库,包含 100 多万张网络图片,其中大约半数手动注释了 7 种离散面部表情和不同情绪模型的愉悦和唤起度强度,并使用两个深度神经网络对分类模型的图像进行分类和预测情感的愉悦和唤起度强度。
Aug, 2017
本文介绍了一种基于视觉信号的深度神经网络自动识别情感的方法,提出了适用于情感识别算法训练和评估的 Aff-Wild Benchmark,以及使用这一数据库 achieving best performances both for dimensional, as well as categorical emotion recognition,成为情感识别领域的最好表现之一。
Apr, 2018
利用扩展的 Aff-Wild 数据集和联合卷积 - 循环神经网络构架,本文分别在特定数据库和跨数据库实验中,发掘了这一神经网络模型对情感识别和分析中的应用前景,并引用了情感范畴的简述模型 circumplex model 进行表述。
Nov, 2018
本文介绍了一个包含 EEG 信号和其他生理数据的新型驾驶认知负荷评估数据集 CL-Drive,并提供了针对不同的机器学习和深度学习模型的基准分类结果。
Apr, 2023
通过引入一个新的大型数据集 VEATIC,作者提出了一个新的计算机视觉任务来推断每个视频帧中选择角色的情感,同时提出了一个简单的模型来评估这个任务,并与其他类似数据集的性能进行比较,实验证明了 VEATIC 的泛化能力。
Sep, 2023