Dec, 2023

采用隐私合规特征进行野外多模态群体情绪识别

PDF
TL;DR本研究在 EmotiW Challenge 2023 中探索了符合隐私规范的野外群体情绪识别。提出的多模态模型通过视频和音频分支以及跨模态注意力实现，使用全局特征而避免使用个体特征，仅依靠分布在视频中的 5 个均匀帧即可达到相当高的准确率。
privacy-compliantgroup-level emotion recognitionmultimodal modelemotiw challengeprivacy-compliant features
发现论文，激发创造
  • EmoNets: 多模深度学习方法用于视频情感识别

    本研究使用深度学习技术，以多模态方式，使用面部检测、音频流等模态，探索影片情感识别模型，成果在 2013 年的 EmotiW 挑战中成为获胜者，并在 2014 年的数据集上实现了约 47.67% 的准确率。

    Mar, 2015

  • EmotiW 2018: 音视频、学生参与和小组层面情感预测

    EmotiW 是 ACM 国际多模态交互会议上的第六次情感识别大挑战，为情感计算社区中的研究人员提供了一个共同平台，在野外数据上对他们的算法进行基准测试。

    Aug, 2018

  • 隐私增强的多模态神经表征用于情感识别

    本研究回顾了移动应用程序和虚拟对话代理器识别和适应情绪的方法，讨论了隐私问题。我们研究了基于主要任务（情感识别）进行训练的多模态表征如何意外地泄露一些敏感信息，分析了情感识别中的隐私度量，并在多个数据集上进行了验证。我们使用对抗学习范式来消除表征中的隐私信息，以及如何在不影响主要任务表现的情况下改善隐私度量。本研究是第一次分析不同模态的隐私指标差异以及如何在仍然维持情感识别表现的情况下解决多个隐私问题。

    Oct, 2019

  • 野外视频情感分类的时间多模态融合

    本文通过使用卷积神经网络改进面部描述符，并探索多种融合方法，建立并优化 CNN 架构，解决情感分类问题，获得了 2017 年 “Emotion in the Wild” 挑战赛第四名的准确性，达到了 58.8％。

    Sep, 2017

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 使用人脸识别的迁移学习进行群体级别情绪识别

    本文描述了我们在第五届 Emotion Recognition in the Wild（EmotiW 2017）小组级情感识别子挑战赛中使用的算法方法，其中我们使用了卷积神经网络来提取检测到的脸部的特征向量，而不是传统的预训练情感识别问题。最终，我们的管道中学习了一个随机森林集成分类器来预测情感分数，该集成分类器在实验研究中显示出与其他探索技术相比最低的错误率。

    Sep, 2017

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 使用预训练转换器进行文本、语音和视频的多模态情绪识别

    通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

    Feb, 2024

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018

  • 情感模仿预测的单模态多任务融合

    通过利用 Wav2Vec 2.0 框架进行语言和语音特征提取，以及 LSTM 架构对音频数据进行时序分析，本研究提出了一种在情感行为分析竞赛中对情感模仿强度进行估计的方法，取得了显著的改进。

    Mar, 2024