本文介绍了在 MuSe 挑战赛 2022（包括 MuSe-Humor，MuSe-Reaction 和 MuSe-Stress 子挑战赛）中使用 TEMMA 和 GRU 自注意机制框架提取各种多模态特征，并融合这些特征来提高准确性并预测情感，同时进行数据增强和处理处理样本不均衡的问题。我们模型在三个子挑战中均取得了优秀的表现。

Aug, 2022

MuSe 2024 是一个多模态情感分析挑战，包括社交感知和跨文化幽默检测两个子挑战。它旨在促进多个研究领域的专家之间的合作交流，提高情感分析和情感计算在多模态中的理解和应用。本文介绍了每个子挑战及其相应数据集的细节，从每个数据模态提取特征，并讨论了各子挑战的基线表现。

Jun, 2024

MuSe 2022 是致力于多模态情感分析和情感识别的国际竞赛，旨在通过使用三个数据集解决情感计算的三个现代相关问题，主要针对的是音频视觉情感识别、健康信息学和符号情感分析等领域。该基线论文通过使用循环神经网络提出了具有竞争力的基准结果，特别是在 MuSe-Stress 测试中，其可预测连续的压力情感值，其中我们报告了一个曲线下面积（AUC）为 0.8480 的结果，且在 MuSe-Reaction 和 MuSe-Stress 中实现了 0.2801 和 0.4931 CCC 和 0.4761 的相关性系数。

Jun, 2022

本研究使用德语说话者的 Ulm-TSST 数据集，通过使用音频 - 视觉记录和生物信号特征来预测情绪唤醒和价值评估的水平，利用 LSTM 和自我注意机制来捕捉其复杂的时序依赖关系，并借助迟到融合策略进一步提高其识别性能。

Oct, 2021

该研究介绍了 MuSe 2023 的数据集、子挑战和提供的特征集，其旨在聚集来自不同研究领域的广泛受众，如视听情感识别、自然语言处理、信号处理和健康信息学，在多模态情感和情感分析方面提出了三个不同的子挑战，包括模仿情感、跨文化幽默检测和个性化挑战。

May, 2023

本文介绍了一种新的 Passau-SFCH 数据集，用于幽默和其情感和方向的自动分析，研究结果表明，对于幽默和其情感的自动分析，面部表情最有潜力，而文本特征最适合模拟幽默方向。

Sep, 2022

我们在 MuSe-Personalisation 子挑战赛中提出了一种解决方案，通过使用多模态情感分析来预测参与者的情绪和趣味连续值，并通过提取多样特征的方法建立了稳健的特征表达和模型集成，最终在此挑战中获得第三名的成绩。

Aug, 2023

本文描述了关于使用 AMTL-Humor 的对抗式多任务网络进行幽默和冒犯文本检测。训练模型包含多个分支，通过模型对 BiLSTM 和 Capsule 层进行训练并使用 BERTweet 生成上下文化嵌入。最终模型是所有测试配置的集合，并在 SemEval-2021 的 7 号任务中实现了 95.66％的 F1 得分和 94.70％的准确率，同时还针对 1b 和 2 号任务分别获得了 0.6200 和 0.5318 的 RMSE 分数。

Apr, 2021

本文介绍了一种多模态融合模型，该模型专门使用高级视频和音频特征来分析口语句子的情感。该模型在 CMUMOSEI 数据集上进行了训练和测试，并获得了验证集上的 F1 得分 0.8049 和挑战测试集上的 F1 得分 0.6325。

Jul, 2018

通过提出一种多模态注意力网络，将跨模态注意力注入每个层级的特定模态中，从而整合多模态数据特征，实现情感识别，并通过多模态可解释性可视化模块使模型的情感预测能够理解其推理过程。

Jan, 2024