MuSe 2024 是一个多模态情感分析挑战，包括社交感知和跨文化幽默检测两个子挑战。它旨在促进多个研究领域的专家之间的合作交流，提高情感分析和情感计算在多模态中的理解和应用。本文介绍了每个子挑战及其相应数据集的细节，从每个数据模态提取特征，并讨论了各子挑战的基线表现。

Jun, 2024

MuSe 2022 是致力于多模态情感分析和情感识别的国际竞赛，旨在通过使用三个数据集解决情感计算的三个现代相关问题，主要针对的是音频视觉情感识别、健康信息学和符号情感分析等领域。该基线论文通过使用循环神经网络提出了具有竞争力的基准结果，特别是在 MuSe-Stress 测试中，其可预测连续的压力情感值，其中我们报告了一个曲线下面积（AUC）为 0.8480 的结果，且在 MuSe-Reaction 和 MuSe-Stress 中实现了 0.2801 和 0.4931 CCC 和 0.4761 的相关性系数。

Jun, 2022

本研究通过对语音、视觉、语言和生物信号进行综合集成，聚焦于情感和情绪、生理情感和基于情感的压力识别的挑战，并介绍了包括情感识别和健康信息学在内的不同领域的社区。同时，介绍了通过本研究提供的基线模型，长短时记忆 - 递归神经网络，从使用者生成的评论数据集 MuSe-CaR 和展示压力状态下人们的 Ulm-TSST 数据集中提取的基于最先进技术的特征集。在每个子挑战中，我们对参与者进行一项竞争性基线测试，并在测试中报告了 MuSe-Wilder 的 0.4616CCC，MuSe-Stress 的 0.4717CCC 和 MuSe-Physio 的 0.4606CCC 的合一性相关系数以及 MuSe-Sent 的 32.82% 的 F1 分数。

Apr, 2021

本文介绍了在 MuSe 挑战赛 2022（包括 MuSe-Humor，MuSe-Reaction 和 MuSe-Stress 子挑战赛）中使用 TEMMA 和 GRU 自注意机制框架提取各种多模态特征，并融合这些特征来提高准确性并预测情感，同时进行数据增强和处理处理样本不均衡的问题。我们模型在三个子挑战中均取得了优秀的表现。

Aug, 2022

我们在 MuSe-Personalisation 子挑战赛中提出了一种解决方案，通过使用多模态情感分析来预测参与者的情绪和趣味连续值，并通过提取多样特征的方法建立了稳健的特征表达和模型集成，最终在此挑战中获得第三名的成绩。

Aug, 2023

本研究使用德语说话者的 Ulm-TSST 数据集，通过使用音频 - 视觉记录和生物信号特征来预测情绪唤醒和价值评估的水平，利用 LSTM 和自我注意机制来捕捉其复杂的时序依赖关系，并借助迟到融合策略进一步提高其识别性能。

Oct, 2021

本文主要介绍我们针对 2022 年 MuSe 多模情感挑战赛的 MuSe-Humor 子挑战所做的研究。我们首先使用变压器模块和 BiLSTM 模块构建一个判别模型，然后提出了一种混合融合策略来提高模型的性能，该模型在测试集上的 AUC 为 0.8972。

Sep, 2022

本文提出一种多模态情感知识共享框架（UniMSE），用于统一多模态情感分析（MSA）和对话中情绪识别（ERC）任务以 better capture the difference and consistency between sentiments and emotions by performing modality fusion at the syntactic and semantic levels and introducing contrastive learning between modalities and samples. 通过在四个公共测试数据集上的实验，展示了该方法的有效性并与最先进的方法进行了一致的改进。

Nov, 2022

通过提出一种多模态注意力网络，将跨模态注意力注入每个层级的特定模态中，从而整合多模态数据特征，实现情感识别，并通过多模态可解释性可视化模块使模型的情感预测能够理解其推理过程。

Jan, 2024

通过引入任务特定提示方法和多模态生成框架 UniSA，我们提出了一种统一所有情感分析子任务的方法，并将主要子任务的基准数据集整理成了新的情感分析评估基准 SAEval。我们设计了新颖的预训练任务和训练方法，使模型能够在不同子任务中学习一般性的情感知识，从而提高模型的多模态情感感知能力。实验结果表明，UniSA 在所有子任务上表现出与最先进方法相当的性能，并在情感分析的各种子任务中具有很好的泛化能力。

Sep, 2023