Mar, 2020

EmotiCon: 利用弗雷格原则的上下文感知多模态情绪识别

PDF
TL;DREmotiCon 是一个基于学习的算法，用于从视频和图片中识别上下文感知的人类情感。该算法利用多种模态，自注意力卷积神经网络以及深度图模型识别情感，提高了对 EMOTIC 和 GroupWalk 数据集中情感进行识别的准确率。
emoticonperceived human emotion recognitioncontext-awaremultiple modalitiesself-attention-based
发现论文，激发创造
  • 基于语境的情感识别：使用 EMOTIC 数据集

    本研究提出一个多元感情图像数据集 EMOTIC，并通过 bounding box 、场景语境等方法训练多种卷积神经网络模型，结果表明场景语境对自动识别情感状态提供了重要信息，为情感识别领域的研究提供了新思路。

    Mar, 2020

  • 基于图卷积网络的强化学习中的情感识别的实时多模态环境

    本文介绍一种创新的使用图卷积网络和强化学习的上下文化情感识别模型，通过对话分组和提取多模态特征实时识别多模态对话信号中的情感。与其他最先进的模型相比，该模型在 IEMOCAP 基准数据集上展现出了识别实时多模态对话信号中情感的优势。

    Oct, 2023

  • 图像情感识别的高层次语境表示

    本文提出了一种从图像中提取高级语境表示的方法，利用单个线索和单个编码流与情感相关联，并且该模型的执行效率比以前的模型更高，其在 EMOTIC 数据集上达到了 0.3002 的 mAP 并且能够在消费级硬件上以每秒大约 90 帧的速度执行，容易部署在解决与情感识别相关的现实问题中。

    May, 2023

  • 采用隐私合规特征进行野外多模态群体情绪识别

    本研究在 EmotiW Challenge 2023 中探索了符合隐私规范的野外群体情绪识别。提出的多模态模型通过视频和音频分支以及跨模态注意力实现，使用全局特征而避免使用个体特征，仅依靠分布在视频中的 5 个均匀帧即可达到相当高的准确率。

    Dec, 2023

  • EmoNets: 多模深度学习方法用于视频情感识别

    本研究使用深度学习技术，以多模态方式，使用面部检测、音频流等模态，探索影片情感识别模型，成果在 2013 年的 EmotiW 挑战中成为获胜者，并在 2014 年的数据集上实现了约 47.67% 的准确率。

    Mar, 2015

  • 自然对话中连续情感识别的多模态传感器数据集 K-EmoCon

    本文介绍了 K-EmoCon 数据集，该数据集支持从多个角度评估社交互动中的持续情感，并包括音频 / 视觉记录、EEG 和外围生理信号等多模态测量。

    May, 2020

  • 基于上下文化图神经网络的多模态情感识别 COGMEN

    本文提出了一种基于上下文图神经网络的多模态情感识别系统 (COGMEN)，该模型利用本地信息和全局信息来模拟对话中复杂的依赖关系，并通过 IEMOCAP 和 MOSEI 数据集取得了最优结果。

    May, 2022

  • 大型视觉语言模型的语境情感识别

    在这篇研究论文中，我们使用最近的大型视觉语言模型来探讨两种主要方法：图像字幕生成与仅使用语言的 LLM，以及零样本和微调设置下的视觉语言模型。我们在 Emotions in Context（EMOTIC）数据集上评估这些方法，并展示出即使在小型数据集上进行微调，视觉语言模型的性能也能显著超过传统的基准方法。我们的研究结果旨在帮助未来的机器人和智能系统对情感进行敏感的决策和交互行为。

    May, 2024

  • 利用场景和语义特征进行多模态情感识别

    提出了一种利用场景和语义特征的多模态情绪识别方法，通过结合人物特征和环境上下文，使用 EmbraceNet 提取图像特征，并在 EMOTIC 数据集上验证了方法的有效性。

    Aug, 2023

  • 自我上下文感知人机交互中的情绪认知

    通过引入自我上下文感知模型 (SCAM)，结合二维情绪坐标系统、独特信息保留结构和上下文损失，我们在音频、视频和多模态情景中显著提高了情绪识别的准确性。未来，我们将通过心理实验来验证 SCAM 在机器人上的可靠性和可用性。

    Jan, 2024