Nov, 2023

探索老年人与虚拟教练交互中的情绪表达识别

PDF
TL;DREMPATHIC 项目的研究旨在设计一款情感表达丰富的虚拟教练，能够吸引健康老年人提高幸福感并促进独立老龄化。本文概述了虚拟教练的情感表达识别模块的开发，包括数据收集、标注设计和针对项目需求的第一种方法论。结果表明，研究的多模态方法在对老年人进行情感分类时具有信息量，并且通常优于其他方法（音频标签准确率约为 68％，视频标签准确率为 72-74％）。这些发现有助于有限的关于情感识别在老年人与人工智能交互中的文献。
empathic projectemotion expression recognitionvirtual coachelderlymultimodal methods
发现论文，激发创造
  • 语音情感识别的实证研究与改进

    本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

    Apr, 2023

  • MEDIC：心理咨询中的多模态共情数据集

    本文构建了一个多模态共情数据集，并提出了三类标签来描述心理治疗师与客户之间的共情程度，同时使用了三种典型方法来预测共情。

    May, 2023

  • 野外情感语音识别中的跨模态转移

    本篇研究提出一种基于面部表情的情感识别的无监督学习方法，通过跨模态蒸馏将面部表情标注传递到语音领域，用于语音情感识别，实现了在未标注音频数据下学习语音情感表示的目标。

    Aug, 2018

  • 音频驱动的情感视频肖像

    本文提出一种称为情感视频肖像 (EVP) 的系统，通过 Cross-Reconstructed Emotion Disentanglement 技术来将语音分解为情感和内容空间并提取二维情感面部特征，然后通过 Target-Adaptive Face Synthesis 技术来生成高质量的情感动态视频人像，该方法在定性和定量实验中均表现出良好的效果。

    Apr, 2021

  • 采用隐私合规特征进行野外多模态群体情绪识别

    本研究在 EmotiW Challenge 2023 中探索了符合隐私规范的野外群体情绪识别。提出的多模态模型通过视频和音频分支以及跨模态注意力实现，使用全局特征而避免使用个体特征，仅依靠分布在视频中的 5 个均匀帧即可达到相当高的准确率。

    Dec, 2023

  • 基于隐式人类反馈的任务学习 EMPATHIC 框架

    本文提出了一种基于数据驱动的框架 EMPATHIC，该框架可以从人类面部表情等隐式反馈中学习如何优化机器人执行任务的表现，其中包括使用深度神经网络将隐式反馈转化为任务统计数据以及应用该框架在机器人操纵路径评估等多个领域的实例。

    Sep, 2020

  • 使用预训练转换器进行文本、语音和视频的多模态情绪识别

    通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

    Feb, 2024

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018

  • EMOPAIN Challenge 2020：基于面部和身体表达的多模态疼痛评估

    EmoPain 2020 挑战是第一个国际比赛，旨在创建一个统一的平台，用于比较机器学习和多媒体处理方法，以便从人类表情行为中进行自动慢性疼痛评估，并识别与疼痛相关的行为。该挑战旨在通过实时监测和反馈，帮助管理病情并保持身体活动，促进较少使用但至关重要的身体表达信号对于自动疼痛和疼痛相关情绪识别的使用。本文介绍了挑战的描述，比赛指南，基准数据集以及三个子任务的基线系统架构和性能：从面部表情中估计疼痛，从多模态运动中识别疼痛，以及检测保护性运动行为。

    Jan, 2020