Jan, 2024

自我上下文感知人机交互中的情绪认知

PDF
TL;DR通过引入自我上下文感知模型 (SCAM)，结合二维情绪坐标系统、独特信息保留结构和上下文损失，我们在音频、视频和多模态情景中显著提高了情绪识别的准确性。未来，我们将通过心理实验来验证 SCAM 在机器人上的可靠性和可用性。
emotion recognitioncontext-aware modelaudiovideomultimodal
发现论文，激发创造
  • 面向个性化情感交互的多模态社交机器人

    本研究采用强化学习方法建立了一个多模态情感交互框架，利用人类用户的情感状态作为交互的奖励因素，优化了机器人的行为策略，并针对用户进行个性化情感交互来增强社交场景下机器人的自然性和吸引力。

    Oct, 2021

  • 应急呼叫中心对话中基于多尺度上下文学习的语音情绪识别

    对话情感识别中，多尺度对话语境学习方法应用于紧急呼叫录音的文本方式可以增强性能，但融入声学语境更具挑战性。

    Aug, 2023

  • 大型视觉语言模型的语境情感识别

    在这篇研究论文中，我们使用最近的大型视觉语言模型来探讨两种主要方法：图像字幕生成与仅使用语言的 LLM，以及零样本和微调设置下的视觉语言模型。我们在 Emotions in Context（EMOTIC）数据集上评估这些方法，并展示出即使在小型数据集上进行微调，视觉语言模型的性能也能显著超过传统的基准方法。我们的研究结果旨在帮助未来的机器人和智能系统对情感进行敏感的决策和交互行为。

    May, 2024

  • EmotiCon: 利用弗雷格原则的上下文感知多模态情绪识别

    EmotiCon 是一个基于学习的算法，用于从视频和图片中识别上下文感知的人类情感。该算法利用多种模态，自注意力卷积神经网络以及深度图模型识别情感，提高了对 EMOTIC 和 GroupWalk 数据集中情感进行识别的准确率。

    Mar, 2020

  • 利用多模态场景信息的情感感知

    利用预训练视觉语言模型从图像中提取前景环境描述，并结合其他多元素素进行情感预测，在自然环境和电视秀等数据集中取得了可行的结果。

    Mar, 2023

  • 图像情感识别的高层次语境表示

    本文提出了一种从图像中提取高级语境表示的方法，利用单个线索和单个编码流与情感相关联，并且该模型的执行效率比以前的模型更高，其在 EMOTIC 数据集上达到了 0.3002 的 mAP 并且能够在消费级硬件上以每秒大约 90 帧的速度执行，容易部署在解决与情感识别相关的现实问题中。

    May, 2023

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 从活动识别的角度进行情绪识别

    通过探索深度学习体系结构在持续情感识别方面的应用，我们提出了一种新颖的三流端到端深度学习回归流程，其中包含一个注意力机制，该机制是基于多个最先进的动作识别系统的子模块的一种组合设计。定量分析表明，所提出的模型优于情感识别和动作识别模型的多个标准基线。

    Mar, 2024

  • 情感过程：用于情感和面部表情识别的时间上下文随机建模

    该研究提出了一种基于神经过程的方法，使用全局潜在变量模型的概率性语境表示与任务特定预测结合，智能地选择时间上下文，并在四个数据库上进行验证，在情感识别等方面取得了比强基线和现有方法更为一致的进步。

    Mar, 2021

  • 上下文感知孪生网络在会话中高效的情感识别

    通过深度学习模型，本研究提出了一种基于度量学习和 Siamese 网络架构的方法来进行情感识别对话任务，取得了 57.71 的宏 F1 得分，相较于相关研究有了显著的提升。

    Apr, 2024