MuSe 2022 是致力于多模态情感分析和情感识别的国际竞赛，旨在通过使用三个数据集解决情感计算的三个现代相关问题，主要针对的是音频视觉情感识别、健康信息学和符号情感分析等领域。该基线论文通过使用循环神经网络提出了具有竞争力的基准结果，特别是在 MuSe-Stress 测试中，其可预测连续的压力情感值，其中我们报告了一个曲线下面积（AUC）为 0.8480 的结果，且在 MuSe-Reaction 和 MuSe-Stress 中实现了 0.2801 和 0.4931 CCC 和 0.4761 的相关性系数。

Jun, 2022

MuSe 2024 是一个多模态情感分析挑战，包括社交感知和跨文化幽默检测两个子挑战。它旨在促进多个研究领域的专家之间的合作交流，提高情感分析和情感计算在多模态中的理解和应用。本文介绍了每个子挑战及其相应数据集的细节，从每个数据模态提取特征，并讨论了各子挑战的基线表现。

Jun, 2024

本研究使用德语说话者的 Ulm-TSST 数据集，通过使用音频 - 视觉记录和生物信号特征来预测情绪唤醒和价值评估的水平，利用 LSTM 和自我注意机制来捕捉其复杂的时序依赖关系，并借助迟到融合策略进一步提高其识别性能。

Oct, 2021

本研究通过对语音、视觉、语言和生物信号进行综合集成，聚焦于情感和情绪、生理情感和基于情感的压力识别的挑战，并介绍了包括情感识别和健康信息学在内的不同领域的社区。同时，介绍了通过本研究提供的基线模型，长短时记忆 - 递归神经网络，从使用者生成的评论数据集 MuSe-CaR 和展示压力状态下人们的 Ulm-TSST 数据集中提取的基于最先进技术的特征集。在每个子挑战中，我们对参与者进行一项竞争性基线测试，并在测试中报告了 MuSe-Wilder 的 0.4616CCC，MuSe-Stress 的 0.4717CCC 和 MuSe-Physio 的 0.4606CCC 的合一性相关系数以及 MuSe-Sent 的 32.82% 的 F1 分数。

Apr, 2021

该研究介绍了 MuSe 2023 的数据集、子挑战和提供的特征集，其旨在聚集来自不同研究领域的广泛受众，如视听情感识别、自然语言处理、信号处理和健康信息学，在多模态情感和情感分析方面提出了三个不同的子挑战，包括模仿情感、跨文化幽默检测和个性化挑战。

May, 2023

我们在 MuSe-Personalisation 子挑战赛中提出了一种解决方案，通过使用多模态情感分析来预测参与者的情绪和趣味连续值，并通过提取多样特征的方法建立了稳健的特征表达和模型集成，最终在此挑战中获得第三名的成绩。

Aug, 2023

本文主要介绍我们针对 2022 年 MuSe 多模情感挑战赛的 MuSe-Humor 子挑战所做的研究。我们首先使用变压器模块和 BiLSTM 模块构建一个判别模型，然后提出了一种混合融合策略来提高模型的性能，该模型在测试集上的 AUC 为 0.8972。

Sep, 2022

本文提出一种多模态情感知识共享框架（UniMSE），用于统一多模态情感分析（MSA）和对话中情绪识别（ERC）任务以 better capture the difference and consistency between sentiments and emotions by performing modality fusion at the syntactic and semantic levels and introducing contrastive learning between modalities and samples. 通过在四个公共测试数据集上的实验，展示了该方法的有效性并与最先进的方法进行了一致的改进。

Nov, 2022

通过提出一种多模态注意力网络，将跨模态注意力注入每个层级的特定模态中，从而整合多模态数据特征，实现情感识别，并通过多模态可解释性可视化模块使模型的情感预测能够理解其推理过程。

Jan, 2024

本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

Jul, 2017