Oct, 2023

基于不确定性感知学习的稳健群体级情感识别

PDF
TL;DR我们提出了一种考虑不确定性的学习方法，通过明确建模每个个体的不确定性，利用从高斯分布中绘制的随机嵌入，而不是确定性点嵌入，来提取更稳健的组级情绪表示。该方法通过随机性在推理阶段生成不同情绪的概率，从而产生多样化的预测。此外，我们根据不确定性敏感分数自适应地分配个体脸部的融合权重，并开发了一个图像增强模块，以增强模型对严重噪声的鲁棒性。我们的三分支模型包含脸部、物体和场景组件，通过比例加权融合策略和集成所提出的不确定性感知方法来生成最终的组级输出，实验结果证明了我们的方法在三个广泛使用的数据库上的有效性和泛化能力。
group-level emotion recognitionuncertainty-aware learningmulti-person sceneinconsistent emotion predictionsimage enhancement module
发现论文，激发创造
  • 面部表情识别的中层表示增强和图形嵌入的不确定性抑制

    本文提出了利用 MRE 和 GUS 技术的人脸表情识别方法，以解决表情变化和数据不确定性带来的挑战。实验结果表明该方法具有更强的泛化能力和更稳健的表情捕捉表示能力。

    Jul, 2022

  • 一种用于群体级情感识别的注意力模型

    本文提出了一种新的方法，使用全局表示和局部表示的相互补充信息对包含人群的图像进行情感分类，其中，使用卷积神经网络 (CNN) 学习图像的全局表示，通过注意力机制合并面部特征获得局部表示，将两种表示独立学习后通过级联融合，采用多种变化的模型组成的集成方法在 EmotiW 2018 群体情感识别挑战中取得了 64.83% 的测试集准确率，排名挑战参赛者的第 4 位。

    Jul, 2018

  • 使用深度证据回归估计情感属性的不确定性

    本文提出了一种贝叶斯方法，使用 深度证据情感回归 (DEER) 估计情绪属性的不确定性，得到最新的 MSP-Podcast 和 IEMOCAP 数据集上情感自动识别的最佳结果。

    Jun, 2023

  • 使用话语特定狄利克雷先验估计情感类别标签的不确定性

    本文提出了一种基于贝叶斯训练损失的情感识别法，该方法可以对不同情感类别的独热标签下的不确定性进行建模，在基于独热标签的情感分类基础上进行了进一步的改进，进而实现了在单语音情感分类中的最先进结果。

    Mar, 2022

  • 你确定吗？分析面向实际语音情感识别的不确定性量化方法

    使用简单的 UQ 方法，结合额外的 OOD 数据训练可以大大改善语音情感识别中因常见挑战如信号污染、语音缺失而导致的不确定性。

    Jul, 2024

  • 采用隐私合规特征进行野外多模态群体情绪识别

    本研究在 EmotiW Challenge 2023 中探索了符合隐私规范的野外群体情绪识别。提出的多模态模型通过视频和音频分支以及跨模态注意力实现，使用全局特征而避免使用个体特征，仅依靠分布在视频中的 5 个均匀帧即可达到相当高的准确率。

    Dec, 2023

  • 人脸识别中的数据不确定性学习

    本研究将数据不确定性学习应用于人脸识别，实现对特征（平均值）和不确定性（方差）的同时学习，并提供了有关如何结合不确定性估计来减少噪声样本不利影响以及影响特征学习的深入分析。

    Mar, 2020

  • 基于分层 Transformer 网络的话语级情感识别

    通过提出一种基于分层 Transformer 框架的情感识别方法，该方法结合了预训练语言模型和说话人嵌入，能在不同背景环境和不同说话人的情况下有效地捕捉言语的情感信息，实验结果表明该方法在三个对话数据集上分别取得了 1.98％、2.83％和 3.94％的 F1 宏平均分数提升。

    Feb, 2020

  • 基于分布的对话情感识别

    提出了一个分布式框架，将自动情感识别作为序列到序列问题来解决，通过引入贝叶斯训练损失来改善情感分布的不确定性估计，从而更好地处理情感标签的不确定性，实验结果表明，分布式框架在情感分类和不确定性估计方面优于单次话语和传统的基于人工设计特征的方法。

    Nov, 2022

  • 基于生理信号的无监督情感识别的深度聚类

    情绪在人脑的认知过程中扮演重要角色，本研究提出了一种基于生理和心理数据的无监督深度聚类框架用于情绪识别。通过对 WESAD 数据集的测试，深度 k 均值和深度 c 均值在 Russell 情感模型的四个象限上具有 87% 的总体准确率，并通过主观评估结果初始化聚类，避免了需要标签的问题。

    Aug, 2023