MuSe 2024 是一个多模态情感分析挑战，包括社交感知和跨文化幽默检测两个子挑战。它旨在促进多个研究领域的专家之间的合作交流，提高情感分析和情感计算在多模态中的理解和应用。本文介绍了每个子挑战及其相应数据集的细节，从每个数据模态提取特征，并讨论了各子挑战的基线表现。

Jun, 2024

该研究介绍了 MuSe 2023 的数据集、子挑战和提供的特征集，其旨在聚集来自不同研究领域的广泛受众，如视听情感识别、自然语言处理、信号处理和健康信息学，在多模态情感和情感分析方面提出了三个不同的子挑战，包括模仿情感、跨文化幽默检测和个性化挑战。

May, 2023

本研究通过对语音、视觉、语言和生物信号进行综合集成，聚焦于情感和情绪、生理情感和基于情感的压力识别的挑战，并介绍了包括情感识别和健康信息学在内的不同领域的社区。同时，介绍了通过本研究提供的基线模型，长短时记忆 - 递归神经网络，从使用者生成的评论数据集 MuSe-CaR 和展示压力状态下人们的 Ulm-TSST 数据集中提取的基于最先进技术的特征集。在每个子挑战中，我们对参与者进行一项竞争性基线测试，并在测试中报告了 MuSe-Wilder 的 0.4616CCC，MuSe-Stress 的 0.4717CCC 和 MuSe-Physio 的 0.4606CCC 的合一性相关系数以及 MuSe-Sent 的 32.82% 的 F1 分数。

Apr, 2021

本文介绍了在 MuSe 挑战赛 2022（包括 MuSe-Humor，MuSe-Reaction 和 MuSe-Stress 子挑战赛）中使用 TEMMA 和 GRU 自注意机制框架提取各种多模态特征，并融合这些特征来提高准确性并预测情感，同时进行数据增强和处理处理样本不均衡的问题。我们模型在三个子挑战中均取得了优秀的表现。

Aug, 2022

本研究使用德语说话者的 Ulm-TSST 数据集，通过使用音频 - 视觉记录和生物信号特征来预测情绪唤醒和价值评估的水平，利用 LSTM 和自我注意机制来捕捉其复杂的时序依赖关系，并借助迟到融合策略进一步提高其识别性能。

Oct, 2021

本文主要介绍我们针对 2022 年 MuSe 多模情感挑战赛的 MuSe-Humor 子挑战所做的研究。我们首先使用变压器模块和 BiLSTM 模块构建一个判别模型，然后提出了一种混合融合策略来提高模型的性能，该模型在测试集上的 AUC 为 0.8972。

Sep, 2022

我们在 MuSe-Personalisation 子挑战赛中提出了一种解决方案，通过使用多模态情感分析来预测参与者的情绪和趣味连续值，并通过提取多样特征的方法建立了稳健的特征表达和模型集成，最终在此挑战中获得第三名的成绩。

Aug, 2023

本文提出一种多模态情感知识共享框架（UniMSE），用于统一多模态情感分析（MSA）和对话中情绪识别（ERC）任务以 better capture the difference and consistency between sentiments and emotions by performing modality fusion at the syntactic and semantic levels and introducing contrastive learning between modalities and samples. 通过在四个公共测试数据集上的实验，展示了该方法的有效性并与最先进的方法进行了一致的改进。

Nov, 2022

本文介绍了一种新的 Passau-SFCH 数据集，用于幽默和其情感和方向的自动分析，研究结果表明，对于幽默和其情感的自动分析，面部表情最有潜力，而文本特征最适合模拟幽默方向。

Sep, 2022

本研究探讨利用情感识别作为辅助任务以提高应对压力的检测，提出 MUSER 模型并针对该模型设计基于速度的动态采样策略的多任务学习算法，在 Multimodal Stressed Emotion（MuSE）数据集上的表现达到了最新的最佳结果。

May, 2021